读书笔记 - Python数据分析与挖掘实战 - 4 数据预处理

最新推荐文章于 2022-08-01 12:06:37 发布

原创

最新推荐文章于 2022-08-01 12:06:37 发布 · 569 阅读

6 ·

CC 4.0 BY-SA版权

本文介绍了Python数据分析中数据预处理的重要性，包括数据清洗（缺失值处理如拉格朗日插值、牛顿插值，异常值处理）、数据集成（实体识别、冗余属性识别）、数据变换（如规范化、连续特征离散化、小波变换）等关键步骤，强调了数据预处理在数据挖掘过程中的核心地位。

第4章数据预处理

数据预处理主要包括数据洁洗、数据集成、数据变换和数据规约等操作，数据预处理通常占整个数据挖掘过程的60%。

在这里插入图片描述

%matplotlib inline

import matplotlib.pyplot as plt
import numpy as np
import pandas as pd

from sklearn.cluster import KMeans
from scipy.interpolate import lagrange

plt.rcParams["font.sans-serif"] = ["SimHei"]
plt.rcParams["axes.unicode_minus"] = False

4.1 数据清洗

数据清洗主要包括（1）删除原始数据集中的无关、重复数据，（2）平滑噪声数据，（3）筛除与挖掘主题无关的数据，（4）处理缺失值、异常值等。

4.1.1 缺失值处理

缺失值处理方法可分为：（1）删除记录，（2）数据插补，（3）不处理。

在这里插入图片描述

如果删除小部分记录也能够达到既定目标，则删除含有缺失值记录的方法最有效。

（1）拉格朗日插值法

已知平面上的 $n$ 个点，可以找到一个 $n - 1$ 次多项式 $a_0 + a_1 x + a_2 x^2 + \cdots + a_{n - 1} x^{n - 1}$ ，使这 $n$ 个点位于该多项式曲线上。己知 $n$ 点坐标 $(x1,y1),(x2,y2),⋯ ,(xn,yn)(x_1, y_1), (x_2, y_2), \cdots, (x_n, y_n)$ 的，则 $n - 1$ 次拉格朗日插值多项式为：

$\sum_{i = 0}^{n} y_i \sum_{j = 0, j \not = i}^{n} \frac{x - x_i}{x_i - x_j}$

拉格朗日插值公式结构紧凑，但当插值节点增减时，插值多项式各项均会随之变化。

（2）牛顿插值法

求己知 $n$ 点坐标 $(x1,y1),(x2,y2),⋯ ,(xn,yn)(x_1, y_1), (x_2, y_2), \cdots, (x_n, y_n)$ 的所有阶差商公式：

$f[x1,x]=f[x]−f[x1]x−x1=f(x)−f(x1)x−x1f[x2,x1,x]=f[x1,x]−f[x2,x1]x−x2f[x3,x2,x1,x]=f[x2,x1,x]−f[x3,x2,x1]x−x3⋯f[xn,xn−1,⋯ ,x1,x]=f[xn−1,⋯ ,x1,x]−f[xn,⋯ ,x2,x1]x−xn\begin{aligned} f[x_1, x] = & \frac{f[x] - f[x_1]}{x - x_1} = \frac{f(x) - f(x_1)}{x - x_1} \\ f[x_2, x_1, x] = & \frac{f[x_1, x] - f[x_2, x_1]}{x - x_2} \\ f[x_3, x_2, x_1, x] = & \frac{f[x_2, x_1, x] - f[x_3, x_2, x_1]}{x - x_3} \\ & \cdots \\ f[x_n, x_{n - 1}, \cdots, x_1, x] = & \frac{f[x_{n - 1}, \cdots, x_1, x] - f[x_n, \cdots, x_2, x_1]}{x - x_n} \\ \end{aligned}$