（一）探索性数据分析EDA入门

数据分析为了使我们更加熟悉数据集，发现数据的特点规律，查看数据集的属性，对数据进行预处理，以使得后续的机器学习或深度学习结果更加达到预期。

以二手车交易价格预测数据为例，数据地址：
https://tianchi.aliyun.com/competition/entrance/231784/information

1、首先导入各种数据科学以及可视化库:
常用数据科学库 pandas、numpy、scipy；可视化库 matplotlib、seabon；

import numpy as np
import pandas as pd
import matplotlib
import matplotlib.pyplot as plt
import seaborn as sns
import missingno as msno

2、载入数据，使用pandas读入csv数据

Train_data = pd.read_csv('./data/used_car_train_20200313.csv', sep=' ')

3、查看数据的维度信息

Train_data.shape

(150000, 31)
数据有150000行和31列

4、简单的查看数据的前5行和后5行的数据信息

Train_data.head().append(Train_data.tail())

5、进一步，可以通过pandas种的describe()来熟悉数据的相关统计量，包括以下内容，count:非空值总数、mean:非空值的平均值、std:方差、min:最小值、25%：25%分位数、50%：50%分位数（中位数）、75%: 75%分位数、max: 最大值。

Train_data.describe()

6、还可以通过info()来了解每列数据的类型，每行的第二列数据是该列有效数据的个数，最后是数据的类型。

Train_data.info()

结果如下
<class ‘pandas.core.frame.DataFrame’>
RangeIndex: 150000 entries, 0 to 149999
Data columns (total 31 columns):
SaleID 150000 non-null int64
name 150000 non-null int64
regDate 150000 non-null int64
model 149999 non-null float64
brand 150000 non-null int64
bodyType 145494 non-null float64
fuelType 141320 non-null float64
gearbox 144019 non-null float64
power 150000 non-null int64
kilometer 150000 non-null float64
notRepairedDamage 150000 non-null object
regionCode 150000 non-null int64
seller 150000 non-null int64
offerType 150000 non-null int64
creatDate 150000 non-null int64
price 150000 non-null int64
v_0 150000 non-null float64
v_1 150000 non-null float64
v_2 150000 non-null float64
v_3 150000 non-null float64
v_4 150000 non-null float64
v_5 150000 non-null float64
v_6 150000 non-null float64
v_7 150000 non-null float64
v_8 150000 non-null float64
v_9 150000 non-null float64
v_10 150000 non-null float64
v_11 150000 non-null float64
v_12 150000 non-null float64
v_13 150000 non-null float64
v_14 150000 non-null float64
dtypes: float64(20), int64(10), object(1)
memory usage: 35.5+ MB

可以看出只有notRepairedDamage 为object类型，其他都为数字

7、判断数据缺失和异常，
7.1、查看每列数据中nan的数据的个数

Train_data.isnull().sum()

结果如下，有model 、bodyType、fuelType 、gearbox四个列中存在 nan数据
SaleID 0
name 0
regDate 0
model 1
brand 0
bodyType 4506
fuelType 8680
gearbox 5981
power 0
kilometer 0
notRepairedDamage 0
regionCode 0
seller 0
offerType 0
creatDate 0
price 0
v_0 0
v_1 0
v_2 0
v_3 0
v_4 0
v_5 0
v_6 0
v_7 0
v_8 0
v_9 0
v_10 0
v_11 0
v_12 0
v_13 0
v_14 0
dtype: int64

7.2 可视化，用pandas中plot.bar()做柱状图

nonumber = Train_data.isnull().sum()
nonumber = nonumber[nonumber > 0]
nonumber.sort_values(inplace=True)
nonumber.plot.bar()
plt.show()

7.3、还可以用missingno库做缺失值可视化分析

msno.matrix(Train_data.sample(250))

sample(250)表示抽取250个样本，结果中白线越多代表缺失值越多

msno.bar(Train_data)

8、进一步我们可以对列数据进行分析

Train_data["seller"].value_counts()

该类别特征严重倾斜，一般不会对预测有什么帮助，可以选择删掉

9、我们还可以查看一下标签的分布
用图表的方式看起来比较直观

import scipy.stats as st
y = Train_data['price']
plt.figure(1); plt.title('Johnson SU')
sns.distplot(y, kde=False, fit=st.johnsonsu)
plt.figure(2); plt.title('Normal')
sns.distplot(y, kde=False, fit=st.norm)
plt.figure(3); plt.title('Log Normal')
sns.distplot(y, kde=False, fit=st.lognorm)

价格不服从正态分布，所以在进行回归处理之前，需要进行转换。

查看预测值的具体频数

查看频数, 大于20000得值极少，也可以把这些当作特殊得值（异常值）直接用填充或者删掉。