读书笔记 - Python数据分析与挖掘实战 - 4 数据预处理

第4章 数据预处理

数据预处理主要包括数据洁洗、数据集成、数据变换和数据规约等操作，数据预处理通常占整个数据挖掘过程的60%。

%matplotlib inline

import matplotlib.pyplot as plt
import numpy as np
import pandas as pd

from sklearn.cluster import KMeans
from scipy.interpolate import lagrange

plt.rcParams["font.sans-serif"] = ["SimHei"]
plt.rcParams["axes.unicode_minus"] = False

4.1 数据清洗

数据清洗主要包括（1）删除原始数据集中的无关、重复数据，（2）平滑噪声数据，（3）筛除与挖掘主题无关的数据，（4）处理缺失值、异常值等。

4.1.1 缺失值处理

缺失值处理方法可分为：（1）删除记录，（2）数据插补，（3）不处理。

如果删除小部分记录也能够达到既定目标，则删除含有缺失值记录的方法最有效。

（1）拉格朗日插值法

已知平面上的$n$个点，可以找到一个$n-1$次多项式$y=a_0+a_{1}x+a_2{x}^2+\cdots +a_{n-1}{x}^{n-1}$，使这$n$个点位于该多项式曲线上。己知$n$点坐标$(x_1,y_1),(x_2,y_2),\cdots ,(x_n,y_n)$的，则$n-1$次拉格朗日插值多项式为：

$$L(x)=\sum _{i=0}^n{y}_i\sum _{j=0,j̸=i}^n\frac{x-x_i}{x_i-x_j}$$

拉格朗日插值公式结构紧凑，但当插值节点增减时，插值多项式各项均会随之变化。

（2）牛顿插值法

求己知$n$点坐标$(x_1,y_1),(x_2,y_2),\cdots ,(x_n,y_n)$的所有阶差商公式：

$$\begin{array}{r}f[x_1,x]=\\ f[x_2,x_1,x]=\\ f[x_3,x_2,x\end{array}$$