数据挖掘流程简述

数据挖掘建模过程：

1.定义挖掘目标：明确到底要干什么

2.数据抽样：从业务系统中抽取出与挖掘目标相关的样本数据子集。

抽样标准有三：相关性、可靠性、有效性，不要动用全部数据。

通过数据样本的精选，减少数据处理量，节省系统资源，突出我们想要寻找的规律。

3.数据探索：拿到样本集后，探索——属性之间的相关性、明显的规律和趋势、异常的数据状态等，对所抽取的样本数据进行探索、审核和必要的加工处理，是保证最终的挖掘模型的质量所必需的，数据探索和预处理的目的是为了保证样本数据的质量，为保证模型质量打下基础。

常用的数据探索方法有两方面——数据质量分析、数据特征分析。

（1）数据质量分析：缺失值分析、异常值分析、数据一致性分析

（2）特征分析：分布分析、对比分析、统计量分析、周期性分析、贡献度分析、相关性分析（散点图）

4.数据预处理

（1）数据清洗：

—缺失值处理

—异常值处理

（2）数据集成

（3）数据变换：函数变换、规范化、连续属性离散化、属性构造、小波变换

（4）数据规约：属性规约、数值规约

5.建模（明确本次目标是什么类型的问题：分类、聚类、关联规则、时序模式、推荐等；选择哪种算法进行模型构建）

6.模型评价