数据分析EDA及代码实现

EDA目标
（1）EDA的价值主要在于熟悉数据集，了解数据集，对数据集进行验证来确定所获得数据集可以用于接下来的机器学习或者深度学习使用。
（2）当了解了数据集之后我们下一步就是要去了解变量间的相互关系以及变量与预测值之间的存在关系。
（3）引导数据科学从业者进行数据处理以及特征工程的步骤,使数据集的结构和特征集让接下来的预测问题更加可靠。
（4）完成对于数据的探索性分析，并对于数据进行一些图表或者文字总结。

1. 载入各种数据科学以及可视化库:
数据科学库 pandas、numpy、scipy；
可视化库 matplotlib、seabon；
其他；
2. 载入数据：
载入训练集和测试集：

Train_data = pd.read_csv('train.csv', sep=' ')
简略观察数据(head()+shape)：

Train_data.head().append(Train_data.tail())

Train_data.shape
3. 数据总览:
通过describe()来熟悉数据的相关统计量：describe种有每列的统计量，个数count、平均值mean、方差std、最小值min、中位数25% 50% 75% 、以及最大值 看这个信息主要是瞬间掌握数据的大概的范围以及每个值的异常值的判断，比如有的时候会发现
999 9999 -1 等值这些其实都是nan的另外一种表达方式，有的时候需要注意。

Train_data.describe()

通过info()来熟悉数据类型：通过info来了解数据每列的type，有助于了解是否存在除了nan以外的特殊符号异常。

Train_data.info()
4. 判断数据缺失和异常
查看每列的存在nan情况：

Train_data.isnull().sum()

# nan可视化
missing = Train_data.isnull().sum()
missing = missing[missing > 0]
missing.sort_values(inplace=True)
missing.plot.bar(）

通过以上两句可以很直观的了解哪些列存在 “nan”, 并可以把nan的个数打印，主要的目的在于 nan存在的个数是否真的很大，如果很小一般选择填充，如果使用lgb等树模型可以直接空缺，让树自己去优化，但如果nan存在的过多、可以考虑删掉。

异常值检测
5. 了解预测值的分布
总体分布概况（无界约翰逊分布等）:

import scipy.stats as st
y = Train_data['Y']
plt.figure(1); plt.title('Johnson SU')
sns.distplot(y, kde=False, fit=st.johnsonsu)
plt.figure(2); plt.title('Normal')
sns.distplot(y, kde=False, fit=st.norm)
plt.figure(3); plt.title('Log Normal')
sns.distplot(y, kde=False, fit=st.lognorm)
查看skewness and kurtosis：

sns.distplot(Train_data['Y']);
print("Skewness: %f" % Train_data['Y'].skew())
print("Kurtosis: %f" % Train_data['Y'].kurt())
查看预测值的具体频数:

plt.hist(Train_data['Y'], orientation = 'vertical',histtype = 'bar', color ='red')
plt.show()
6. 特征分为类别特征和数字特征，并对类别特征查看unique分布:

for cat_fea in categorical_features:
print(cat_fea + "的特征分布如下：")
print("{}特征有个{}不同的值".format(cat_fea, Train_data[cat_fea].nunique()))
print(Train_data[cat_fea].value_counts())
7. 数字特征分析
相关性分析:

Y_numeric = Train_data[numeric_features]
correlation = Y_numeric.corr()
print(correlation['price'].sort_values(ascending = False),'\n')

绘制相关性矩阵图：

f , ax = plt.subplots(figsize = (7, 7))
plt.title('Correlation of Numeric Features with Y',y=1,size=16)
sns.heatmap(correlation,square = True, vmax=0.8)
查看几个特征得 偏度和峰值:

for col in numeric_features:
          print('{:15}'.format(col),
          'Skewness: {:05.2f}'.format(Train_data[col].skew()) ,
           ' ' ,
          'Kurtosis: {:06.2f}'.format(Train_data[col].kurt())
           )
每个数字特征得分布可视化:

f = pd.melt(Train_data, value_vars=numeric_features)
g = sns.FacetGrid(f, col="variable", col_wrap=2, sharex=False, sharey=False)
g = g.map(sns.distplot, "value"
数字特征相互之间的关系可视化:

sns.set()
columns = ['Y', 'X1', 'X2' , 'X3', 'X4', 'X5', 'X6', 'X7', 'X8', 'X9']
sns.pairplot(Train_data[columns],size = 2 ,kind ='scatter',diag_kind='kde')
plt.show()
多变量互相回归关系可视化

8. 类型特征分析
unique分布:

for fea in categorical_features:
      print(Train_data[fea].nunique())
类别特征箱形图可视化:

categorical_features = ['X1','X2','X3','X4','X5']
for c in categorical_features:
        Train_data[c] = Train_data[c].astype('category')
        if Train_data[c].isnull().any():
             Train_data[c] = Train_data[c].cat.add_categories(['MISSING'])
             Train_data[c] = Train_data[c].fillna('MISSING')
def boxplot(x, y, **kwargs):
        sns.boxplot(x=x, y=y)
         x=plt.xticks(rotation=90)
f = pd.melt(Train_data, id_vars=['price'], value_vars=categorical_features)
g = sns.FacetGrid(f, col="variable", col_wrap=2, sharex=False, sharey=False, size=5)
g = g.map(boxplot, "value", "price")
类别特征的小提琴图可视化:

catg_list = categorical_features
target = 'Y'
for catg in catg_list :
         sns.violinplot(x=catg, y=target, data=Train_data)
          plt.show()
类别特征的柱形图可视化类别:

def bar_plot(x, y, **kwargs):
       sns.barplot(x=x, y=y)
       x=plt.xticks(rotation=90)
f = pd.melt(Train_data, id_vars=['price'], value_vars=categorical_features)
g = sns.FacetGrid(f, col="variable", col_wrap=2, sharex=False, sharey=False, size=5)
g = g.map(bar_plot, "value", "price")
特征的每个类别频数可视化(count_plot):

def count_plot(x, **kwargs):
       sns.countplot(x=x)
       x=plt.xticks(rotation=90)
f = pd.melt(Train_data, value_vars=categorical_features)
g = sns.FacetGrid(f, col="variable", col_wrap=2, sharex=False, sharey=False, size=5)
g = g.map(count_plot, "value")
（1）对于数据的初步分析（直接查看数据，或.sum(), .mean()，.descirbe()等统计函数）可以从：样本数量，训练集数量，是否有时间特征，是否是时许问题，特征所表示的含义（非匿名特征），特征类型（字符类似，int，float，time），特征的缺失情况（注意缺失的在数据中的表现形式，有些是空的有些是”NAN”符号等），特征的均值方差情况。
（2）分析记录某些特征值缺失占比30%以上样本的缺失处理，有助于后续的模型验证和调节，分析特征应该是填充（填充方式是什么，均值填充，0填充，众数填充等），还是舍去，还是先做样本分类用不同的特征模型去预测。
（3）对于异常值做专门的分析，分析特征异常的label是否为异常值（或者偏离均值较远或者事特殊符号）,异常值是否应该剔除，还是用正常值填充，是记录异常，还是机器本身异常等。
（4）对于Label做专门的分析，分析标签的分布情况等。
（5）进步分析可以通过对特征作图，特征和label联合做图（统计图，离散图），直观了解特征的分布情况，通过这一步也可以发现数据之中的一些异常值等，通过箱型图分析一些特征值的偏离情况，对于特征和特征联合作图，对于特征和label联合作图，分析其中的一些关联性。