介绍
根据您通过机器学习模型获得的数据的最终目标、可视化的开发和用户友好的应用程序的合并，在项目开始时培养数据的流畅性将有助于最终的成功。
EDA 精要
这是我们了解数据预处理的必要性如何对数据分析师有益的地方。
由于数量庞大且来源多样，今天的数据更有可能出现异常。数据预处理已成为数据科学领域的基础阶段，因为高质量的数据可以带来更稳健的模型和预测。
探索性数据分析是数据科学家的工具，用于查看哪些数据可以在正式建模或假设测试任务之外公开。
数据科学家必须始终执行 EDA 以确保结果可靠并适用于任何受影响的结果和目标。它还帮助科学家和分析师确认他们正走在实现预期结果的正确轨道上。
指导研究的一些研究问题示例是：
1.数据预处理是否有显着效果
分析方法——缺失值、聚合值、数据过滤、离群值、变量变换、变量约简——准确的数据分析结果？
2。研究中预处理数据分析的必要性达到什么程度？
探索性数据分析指标及其重要性
1.数据过滤
这是选择数据集的较小部分并使用该子集进行查看或分析的做法。保留完整的数据集，但仅使用其中的一个子集进行计算；过滤通常是一个临时过程。从研究中发现不准确、不正确或低于标准的观察结果，提取特定兴趣群体的数据，或寻找特定时期的信息都可以使用过滤器进行总结。数据科学家必须在过滤过程中指定规则或逻辑以提取研究案例。

2.数据聚合
数据聚合需要将未处理的数据收集到一个位置并将其汇总以进行分析。数据聚合增加了数据的信息价值、实用价值和可用价值。技术用户的观点经常被用来定义这个短语。数据聚合是分析师或工程师将来自多个数据库或数据源的未处理数据集成到集中式数据库中的过程。然后通过组合原始数据来创建汇总数字。总和或平均值是总值的直接说明。聚合数据用于分析、报告、仪表板和其他数据产品。数据聚合可以提高生产力、决策制定和洞察时间。

3.缺失数据
在数据分析中，缺失值是缺失
的另一个名称 数据。当特定变量或受访者被遗漏或跳过时，就会发生这种情况。由于数据输入不正确、文件丢失或技术损坏，可能会发生遗漏。缺失数据可能会间歇性地导致模型偏差，具体取决于数据的类型，这使得它们出现问题。缺失数据意味着，由于数据有时可能来自误导性样本，因此结果可能只能在研究参数范围内推​​广。为了确保整个数据集的一致性，有必要使用标签“N/A”（“不适用”的缩写）重新编码所有缺失值。

4.数据转换
使用函数或其他数学方法重新调整数据
转换过程中对每个观察值的操作。我们
偶尔更改数据以使其更容易建模
非常明显地偏斜（正向或负向）。
换句话说，应该尝试进行数据转换以适应应用参数统计检验的假设 if
变量不符合正态分布。最流行的数据转换是对数（或自然对数），当所有观察结果均为正值并且大多数数据值集中在零附近（涉及数据集中更重要的值）时，经常使用它。

示意图

EDA 中的可视化技术
可视化技术在 EDA 中发挥着至关重要的作用，使我们能够直观地探索和理解复杂的数据结构和关系。 EDA 中使用的一些常见可视化技术有：
1.直方图：
直方图是显示数值变量分布的图形表示。它们通过可视化频率分布来帮助理解数据的集中趋势和传播。

2.箱线图：箱线图是显示数值变量分布的图表。这种可视化技术有助于识别任何异常值并通过可视化其四分位数来了解数据的分布。

3.热图：它们是数据的图形表示，其中颜色代表值。它们通常用于显示复杂的数据集，提供一种快速、简单的方法来可视化大量数据的模式和趋势。

4.条形图：条形图是显示分类变量分布的图形。用于可视化数据的频率分布，有助于了解各个类别的相对频率。

5.折线图：折线图是显示数值变量随时间变化趋势的图表。它用于可视化数据随时间的变化并识别任何模式或趋势。

5.饼图：饼图是展示分类变量所占比例的图表。用于可视化每个类别的相对比例并了解数据分布。