基于LendingClub数据的信贷分析和建模报告

一：课题分析

二：数据获取

三：数据探索

３．１主要特征含义理解

３．２特征分布

３．２．１目标特征分布

３．２．２分类变量的分布

３．２．３连续数值特征分布

３．２．４时序特征分布

３．２．５文字特征分布

３．２．６两两特征的协方差

 

四：数据预处理

４．１数据集划分

４．２特征缺失值识别与处理

４．２．１严重缺失值的处理

４．２．２缺失值填充

４．３同值性特征识别与处理

４．４特征格式变换

４．５文本特征处理

４．５．１工作机构分类

４．５．２借款人州地址分类

４．５．２．１　k-means聚类分析

４．５．２．２　等频分箱

４．６时序特征处理

４．７特征编码

４．８归一化处理

４．９警惕数据泄露

４．９．１警惕不恰当特征

４．９．２错误的交叉验证策略

 

五：特征工程

５．１特征衍生

５．２筛选变量

特征筛选的目的

５．２．１依据共线性筛选变量

５．２．２依据ＩＶ筛选变量

５．３特征分箱

５．３．１对无缺省值的连续型数值变量分箱

５．３．２对含有缺省值的连续型数值变量分箱

 

六：建模

６．１建立评分卡

６．２建立随机森林模型

 

七：总结

一：课题分析

课题：

研究小微企业主贷款的风险特征，提出可应用性强的风险评估模型构建方案。

课题分析：

小微企业贷款信用评估与小微企业主个人信用情况关系密切，本文将以lendingclub信贷平台上的公开数据作为小微企业主信贷数据模拟样本，构造一个简单明了的传统信贷申请评分卡（Ａ卡），和一个解释性较差的黑箱预测模型，用于辅助决策。

 

二：数据获取

根据巴塞尔协议提供的经验，正常还款１２期以上的贷款人，其还款状态会趋于稳定，因此，我选择LendingClub平台(以下简称LC）２０１７年Ｑ1的数据，那么我们的样本到目前为止还款全部超过12个月，其数据更新度高，样本可以被有效利用。

由上图，样本共有４２５３８条数据，共有１４５个特征变量，样本量够大，对它们的分析具有统计意义。

此样本是经过ＬＣ平台依据一些条件（比如ＦＩＣＯ值）筛选过的美国借款人的样本，因此应用具有一定局限性。

 

三：数据探索

在着手处理数据之前，先了解基本的数据情况，为进一步的数据探索、数据预处理、特征工程和建模做准备。

３．１主要特征含义理解

主要特征摘录：

３．２特征分布

３．２．１目标特征分布

 

fully paid:完全结清　charged off:坏账注销

由上表可知，此样本集是一个不平衡数据集。在后续过程中需要考虑到这一点。

 

３．２．２分类变量的分布

 

探索典型分类变量依据好坏样本两类的分布并进行可视化展示：