数据挖掘建模过程

1.定义挖掘目标

2.数据采样

 问题：哪些数据源可用？/如何保证取样数据的质量？/是否在足够范围内有代表性？/数据样本多少合适？/如何分类(训练集、验证集、测试集)？

衡量数据采样的标准：1）资料完整无缺，各类指标项齐全 2)数据准确无误，反映的都是正常状态下的水平

抽样的方式：随机抽样、等距抽样、分层抽样、从其实顺序抽样、分类抽样

3.数据探索：目的是为了保证数据样本的质量，从而为保证预测质量打下基础。

            主要包括：异常值分析、缺失值分析、相关分析、周期性分析、样本交叉验证等。

4.预处理

  主要包括：数据筛选、数据变量变换、缺失值处理、坏数据处理、数据标准化、主成分分析、属性选择、数据规约

5.模式发现 ：是分类、聚类、关联规则、还是时序模式？

6.模式构建：才用什么算法？实施步骤？

预测模型的构建包括模型建立、模型训练、模型验证、模型预测

7.模型评价 ：

   思考问题：评价的目的是什么？如何评价模型效果？通过什么评价指标来衡量？

 预测模型效果通常用相对绝对误差、平均绝对误差、根均方差、相对平方根误差、反馈率、ROC（受试者工作特性）曲线来衡量