二手车交易赛题理解&EDA

赛题理解

读入数据后，.head()可以查看数据的前几行，从而观察数据大致的样子；

不同问题有不同的评价指标，有的可以通过调用第三方库如sklearn，有的则需要自己实现。本地线下有一个明确的指标很重要，因为线上的提交、测试往往都有限制。

 

EDA

EDA的目标：

• EDA的价值主要在于熟悉数据集，了解数据集，对数据集进行验证来确定所获得数据集可以用于接下来的机器学习或者深度学习使用。

• 当了解了数据集之后我们下一步就是要去了解变量间的相互关系以及变量与预测值之间的存在关系。

• 引导数据科学从业者进行数据处理以及特征工程的步骤,使数据集的结构和特征集让接下来的预测问题更加可靠。

• 完成对于数据的探索性分析，并对于数据进行一些图表或者文字总结

pd.read_csv(seq=',')以逗号为分隔符https://blog.csdn.net/The_Time_Runner/article/details/86187900

Test_data.head().append(Test_data.tail())训练和测试集看的时候可以把尾部也一起看了；

Train_data.shape看数据形状。养成习惯

Test_data.describe()可以直接看特征的均值、方差、min和max等等，可以从count看出来一些特征有缺失；

info 通过info来了解数据每列的type，有助于了解是否存在除了nan以外的特殊符号异常；

Train_data.isnull().sum()看特征缺失值的个数；

# nan可视化
missing = Train_data.isnull().sum()
missing = missing[missing > 0]
missing.sort_values(inplace=True)
missing.plot.bar()

主要的目的在于 nan存在的个数是否真的很大，如果很小一般选择填充，如果使用lgb等树模型可以直接空缺，让树自己去优化，但如果nan存在的过多、可以考虑删掉

额。。。。到这里先欠一下，之后补充上