hands-on Machine Learning with Scikit-Learning加州房价主要思路

一、全局预览

二、获取数据

三、数据探索、数据可视化，深入理解数据

四、为机器学习算法准备数据

五、选择模型进行训练

六、模型微调

七、运行、监测和维护系统

 

一、全局角度

已有数据——加州的房价信息：每个街区人口、每个街区收入中位数、每个街区房价中位数、街区经纬度

目的——能够预测出任何街区的房价中位数，在给定其他所有的度量值时。

构建问题——了解商业目的、现有方案后，有无监督？  分类回归？Batch online？有监督、回归、batch

选择性能指标——典型回归问题  RMSE均方根误差

核实假设  

 

 

二、获取数据

创建工作区——准备运行python、jupyter、pandas、numpy、matplotlib、scikit-Learn

下载数据——通常数据库、文档文件

快速浏览数据框架——行、列、数据描述信息，总共多少数据量、数据类型、null值、均值、最值，histogram画图看

创建测试集——通常20%的数据作为测试集，80%训练集。①要避免每次运行重新划分测试集和数据集都不一样的问题，有相应的语句，或者给每条数据计算相应的身份标识②随机抽样不合理怎么办，要在样本中体现一定的比例，采用分层抽样，分桶，等频切分

三、数据探索

数据可视化——地图、皮尔森相关系数、散点图看看每个特征之间的关系

四、为机器学习算法准备数据

数据清洗——缺失值处理：去掉相应区域；去掉整个属性；把空值设置成0/均值/中位数

解决文本和类属特征——把文本转成数字

特征缩放——线性归一化、标准化

转化pipeline——fit() fit-transform()

五、选择模型进行训练

训练集上进行训练和评估——线性模型 决策树模型，计算RSME，不断尝试，模型训练好后，用训练集进行评估

交叉验证做最好的评估——分割训练集，得到更小的训练集和验证集

六、模型微调

网格搜索、随机搜索、集成方法

分析最佳模型和他们的误差

测试集评估系统

七、启动、监测和维护系统