数据挖掘竞赛-一起挖掘幸福感EDA

最新推荐文章于 2021-04-22 13:09:35 发布

周先森爱吃素

最新推荐文章于 2021-04-22 13:09:35 发布

阅读量3.6k

点赞数 3

分类专栏：数据科学竞赛文章标签：一起挖掘幸福感

本文链接：https://blog.csdn.net/zhouchen1998/article/details/91978857

版权

数据科学竞赛专栏收录该内容

9 篇文章 4 订阅

订阅专栏

一起挖掘幸福感

简介

天池上的一个新人赛，属于比较简单的回归赛（由于target只有5个值也有人理解为分类赛，但是注意平台评分使用的是MSE，分类会使得分不合适），适合作为EDA的教程。本文内容将主要倾向于数据探索部分（EDA），建模预测部分不多提。建模思路为对高维特征降维后利用xgboost进行预测。

处理过程

数据获取

数据由官方提供，可以下载到自己的环境中也可以使用天池实验室进行数据集读取（我也将数据上传到Drive云盘）。

文件说明
- happiness_index.xlsx 调查结果表中各个字段及其不同值的含义说明。
- happiness_submit.csv 平台提交结果示例文件，利用pandas读取修改结果后提交到平台即可。
- happiness_survey_cgss2015.pdf 居民调查问卷的PDF文件（对比赛没有用处）。
- happiness_test_abbr.csv 简化版的测试集文件，包含除了target之外的所有特征中的一部分，特征较少，便于新手建模。
- happiness_test_complete.csv 完整版的测试集文件，包含除了target之外的所有特征中的全部，特征较多，适合有经验的玩家。
- happiness_train_abbr.csv 简化版的训练集文件，包括target以及所有特征中的一部分，特征较少，便于新手建模。
- happiness_train_complete.csv 完整版的训练集文件，包括target以及所有特征中的全部，特征较多，适合有经验的玩家。

数据探索（初步）

数据量
- 原始数据中，共8000个训练数据，2968个测试数据，除target外有139个特征。
目标分布
- 有12个异常值为-8，可以删除，为了保证数据完整，将其替换为3（不是幸福也不是不幸福）。

数据类型

大部分为整型数据，少部分为object，需要解析为数值（通过逐列输出，survey_time应为时间类型，调整读取代码如下。）。

df_train = pd.read_csv('happiness_train_complete.csv', encoding='gbk', parse_dates=['survey_time'])
df_test = pd.read_csv('happiness_test_complete.csv', encoding='gbk', parse_dates=['survey_time'])

统计值
- 包括每一列的数据量、均值、标准差、最值、分位数等。
相关性
- 绘制相关矩阵图，建模是高相关特征必须只取一个（图中各项设计不错，无高相关）。

数据预处理

异常值处理
- 目标替换
  - 将-8统一换为3。
  - df_train['happiness'] = df_train['happiness'].replace(-8, 3)

缺失值处理

检查缺失值

处理缺失值

依据index说明文件，hukou_loc的缺失使用4（表示待定）填充合理，其他如收入family_income使用均值填充。

  def fill_data(df):
      df['hukou_loc'] = df['hukou_loc'].fillna(4)
      df['family_income'] = df['family_income'].fillna(df['family_income'].mean())
      df.fillna(0, inplace=True)  # 其余使用0填充

属性构造

构造年龄

        def generator_attribute(df):
            df['survey_time'] = df['survey_time'].dt.year
            df['age'] = df['survey_time'] - df['birth']
        generator_attribute(df_train)
        generator_attribute(df_test)
        ```

探索性数据分析（EDA，基于处理后的较为完美的数据）

整体幸福状况

  plt.figure(figsize=(16, 8))
  plt.subplot(1, 2, 1)
  df_train['happiness'].value_counts().plot(kind='pie', autopct='%1.1f%%')
  plt.subplot(1, 2, 2)
  df_train['happiness'].value_counts().plot(kind='bar')
  plt.savefig('happiness_distribution.png')

大于等于4表示幸福，77.8%的人是幸福的，这说明当今时代，大部分人还是对身处的环境感到幸福的。

局部幸福情况

男女幸福状况

  plt.figure(figsize=(16, 8))
  sns.countplot(data=df_train, x='gender', hue='happiness')
  plt.title('different happiness level by gender')
  plt.savefig('gender_bar.png')

  plt.figure(figsize=(16, 8))
  plt.subplot(1, 2, 1)
  df_train['happiness'][df_train['gender'] == 1].value_counts().plot(kind='pie', autopct='%1.1f%%')
  plt.subplot(1, 2, 2)
  df_train['happiness'][df_train['gender'] == 2].value_counts().plot(kind='pie', autopct='%1.1f%%')
  plt.title('different happiness level percent by gender')
  plt.savefig('gender_pie.png')