天池精准医疗数据

最新推荐文章于 2023-10-28 15:14:02 发布

永久_小玖

最新推荐文章于 2023-10-28 15:14:02 发布

阅读量1.2k

点赞数 1

分类专栏： R语言基础

本文链接：https://blog.csdn.net/zpp15603669517/article/details/89136496

版权

R语言基础专栏收录该内容

8 篇文章 3 订阅

订阅专栏

背景简介

中国是世界上糖尿病患者最多的国家，病人达到1.1亿，每年有130万人死于糖尿病及其相关疾病。每年用于糖尿病的医疗费用占中国公共医疗卫生支出的比例超过13%，超过3000亿元。本次大赛旨在通过糖尿病人的临床数据和体检指标来预测人群的糖尿病程度，以血糖浓度为指标。参赛选手需要设计高精度，高效，且解释性强的算法来挑战糖尿病精准预测这一科学难题。

数据简介

大赛初赛数据共包含两个文件，训练文件d_train.csv和测试文件d_test.csv，每个文件第一行是字段名，之后每一行代表一个个体。文件共包含42个字段，包含数值型、字符型、日期型等众多数据类型，部分字段内容在部分人群中有缺失，其中第一列为个体ID号。训练文件的最后一列为标签列，既需要预测的目标血糖值。

大赛复赛数据共包含两个文件，训练文件f_train.csv和测试文件f_test.csv，每个文件第一行是字段名，之后每一行代表一个个体，部分字段名已经做脱敏处理。文件共包含85个字段，部分字段内容在部分人群中有缺失，其中第一列为个体ID号。训练文件的最后一列为标签列，既需要预测的是否有糖尿病的类别。

一、数据准备与探索

import pandas as pd
import numpy as np
import os
import matplotlib.pyplot as plt
import seaborn as sns
from sklearn.impute import SimpleImputer
from sklearn.ensemble import RandomForestRegressor
from sklearn.preprocessing import StandardScaler
from sklearn.feature_selection import variance_threshold
from sklearn.feature_selection import mutual_info_regression as MIR
from sklearn.feature_selection import SelectKBest
from sklearn.feature_selection import SelectFromModel
from sklearn.feature_selection import RFE
from sklearn.model_selection import train_test_split
from sklearn.model_selection import cross_val_score


os.chdir(r'C:\userMe\jupyter_notebook\项目三医疗数据\精准医疗大赛')
d_train = pd.read_csv('d_train_20180102.csv', encoding = 'gb2312')
d_test = pd.read_csv('d_test_A_20180102.csv', encoding = 'gb2312')
print(d_train.columns) # 查看列名
print(d_train.head())  
round(d_train.describe()) # 查看数据分布
d_train.shape

"""
第一阶段：数据准备
"""
d_train = d_train.drop('id', axis=1) #  将id列删除
d_train['性别'] = d_train['性别'].map({'男': 1,'女': 0, '??':1}) # 将男女进行二值转化
d_train.groupby(['性别']).size().plot.pie(subplots=True,autopct='%.2f', fontsize=20)

d_test = d_test.drop('id', axis=1)
d_test['性别'] = d_test['性别'].map({'男': 1,'女': 0, '??':1})
d_test.groupby(['性别']).size().plot.pie(subplots=True,autopct='%.2f', fontsize=20)

	id	年龄	*天门冬氨酸氨基转换酶	*丙氨酸氨基转换酶	*碱性磷酸酶	*r-谷氨酰基转换酶	*总蛋白	白蛋白	*球蛋白	白球比例	...	血小板计数	血小板平均体积	血小板体积分布宽度	血小板比积	中性粒细胞%	淋巴细胞%	单核细胞%	嗜酸细胞%	嗜碱细胞%	血糖
count	5642.0	5642.0	4421.0	4421.0	4421.0	4421.0	4421.0	4421.0	4421.0	4421.0	...	5626.0	5619.0	5619.0	5619.0	5626.0	5626.0	5626.0	5626.0	5626.0	5642.0
mean	2866.0	46.0	27.0	28.0	87.0	39.0	77.0	46.0	31.0	2.0	...	253.0	11.0	13.0	0.0	57.0	34.0	7.0	2.0	1.0	6.0
std	1656.0	13.0	14.0	23.0	26.0	41.0	4.0	3.0	4.0	0.0	...	60.0	1.0	2.0	0.0	8.0	7.0	2.0	2.0	0.0	2.0
min	1.0	3.0	10.0	0.0	23.0	6.0	57.0	30.0	7.0	1.0	...	37.0	7.0	8.0	0.0	14.0	8.0	3.0	0.0	0.0	3.0
25%	1433.0	35.0	20.0	15.0	70.0	18.0	74.0	44.0	29.0	1.0	...	213.0	10.0	12.0	0.0	52.0	29.0	6.0	1.0	0.0	5.0
50%	2870.0	45.0	24.0	21.0	84.0	26.0	77.0	46.0	31.0	1.0	...	249.0	11.0	13.0	0.0	57.0	34.0	7.0	2.0	1.0	5.0
75%	4303.0	54.0	29.0	32.0	100.0	44.0	80.0	48.0	33.0	2.0	...	289.0	11.0	15.0	0.0	62.0	38.0	8.0	3.0	1.0	6.0
max	5732.0	93.0	435.0	499.0	374.0	737.0	100.0	54.0	66.0	7.0	...	745.0	15.0	25.0	1.0	88.0	76.0	23.0	22.0	4.0	38.0

二、处理缺失值

"""
缺失值处理
"""
#将字段名更改为 var_0-40（避免乱码问题）
for i in range(d_train.shape[1]):
    d_train = d_train.rename(columns={d_train.columns[i]:'var_'+ str(i)})
for i in range(d_test.shape[1]):
    d_test = d_test.rename(columns={d_test.columns[i]:'var_'+ str(i)})

# 画图查看缺失值分布情况
nulls = d_train.isnull().sum().sort_values(ascending=False)
nulls.plot(kind='bar')
(nulls/d_train.shape[0])*100

# 删除缺失值占比超过70%的字段(乙肝检查)
remove1 = ["var_18","var_19","var_20","var_21","var_22"]
train_1 = d_train.drop(remove1, axis=1)
test_1 = d_test.drop(remove1, axis=1)
train_1.shape

(train_1.isnull().sum().sort_values(ascending=False)/train_1.shape[0])*100

# 查看极值
des = train_1.quantile([0, 0.01,0.1,0.5,0.8,0.9,0.99,1])
des

# 画图查看极值
for i in range(des.shape[1]):
    # i = 1
    plt.plot(des.iloc[:,i],c='b')
    plt.ylabel(des.columns[i])
    plt.show()

# 查看一下血糖分布
plt.plot(train_1.loc[:, 'var_40'])
plt.hist(train_1.loc[:, 'var_40'], alpha=0.5, bins=50)

# 用随机森林对其他缺失值进行填补
train_1 = train_1.drop('var_2', axis=1)
x_missing = train_1.copy()
x_missing = x_missing.drop('var_0', axis = 1)
missing = x_missing.isnull().sum().sort_values(ascending=False)

for i in missing.index:
    # i = 'var_16'
    y = x_missing[str(i)]
    x = x_missing.drop(str(i), axis=1)
    if len(y)==0:
        break
    # 将其他缺失值用0填充
    x_0 = SimpleImputer(missing_values=np.nan, strategy='constant', fill_value=0).fit_transform(x)
    ytrain = y[y.notnull()]
    ytest = y[y.isnull()]
    
    xtrain = x_0[ytrain.index, :]
    xtest = x_0[ytest.index, :]
    
    rfc = RandomForestRegressor(n_estimators=100)
    rfc = rfc.fit(xtrain, ytrain)
    ypredict = rfc.predict(xtest)
    
    # 将填好的特征返回到原始特征矩阵中
    x_missing.loc[x_missing.loc[:,str(i)].isnull(),str(i)] = ypredict

train_2 = x_missing.copy()
train_2.isnull().sum()

缺失值占比：
var_20    75.841900
var_22    75.841900
var_18    75.841900
var_19    75.841900
var_21    75.841900
var_16    24.423963
var_15    24.423963
var_17    24.423963
var_7     21.641262
var_10    21.641262
var_8     21.641262
var_3     21.641262
var_6     21.641262
var_5     21.641262
var_4     21.641262
var_9     21.641262
var_11    21.605814
var_12    21.605814
var_13    21.605814
var_14    21.605814
var_32     0.407657
var_33     0.407657
var_34     0.407657
var_35     0.283587
var_38     0.283587
var_39     0.283587
var_36     0.283587
var_23     0.283587
var_24     0.283587
var_25     0.283587
var_26     0.283587
var_27     0.283587
var_28     0.283587
var_29     0.283587
var_30     0.283587
var_31     0.283587
var_37     0.283587
var_1      0.000000
var_40     0.000000
var_2      0.000000
var_0      0.000000
dtype: float64

三、特征分析与筛选

"""
特征分析与筛选
""" 
# 方差及相关性查看（相关性还可以用F检验现行相关性）
train_2.var().sort_values(ascending=False)
train_2.corr()

# 互信息法（最终保留27个变量）
result = MIR(train_2.drop('var_40',axis=1), train_2['var_40'])
result1 = pd.concat([pd.DataFrame(result),pd.DataFrame(train_2.drop('var_40',axis=1).columns)], axis=1)
col_name = list(result1[result1.iloc[:,0]!=0].iloc[:,1])
k = result.shape[0] - sum(result <= 0)
train_3 = SelectKBest(MIR, k = 27).fit_transform(train_2.drop('var_40',axis=1), train_2['var_40'])

# 将数据标准化
train_3 = StandardScaler().fit_transform(train_3)
train_3 = pd.DataFrame(train_3)
train_3.columns = col_name

四、模型选择

1、线性回归+嵌入法进行变量筛选及建模

2、用sklearn的RandomForestRegressor随机森林的回归树建模

3、用sklearn的xgboost进行建模

永久_小玖

关注

1
点赞
踩
11

收藏

觉得还不错? 一键收藏
0
评论
天池精准医疗数据

背景简介中国是世界上糖尿病患者最多的国家，病人达到1.1亿，每年有130万人死于糖尿病及其相关疾病。每年用于糖尿病的医疗费用占中国公共医疗卫生支出的比例超过13%，超过3000亿元。本次大赛旨在通过糖尿病人的临床数据和体检指标来预测人群的糖尿病程度，以血糖浓度为指标。参赛选手需要设计高精度，高效，且解释性强的算法来挑战糖尿病精准预测这一科学难题。数据简介大赛初赛数据共包含两个文件，训练...
复制链接

扫一扫

专栏目录