多因子模型的数据处理

优质博文：IT-BLOG-CN

数据处理的基本目的是从多量的、可能是杂乱无章的、难以理解的数据中抽取并推导出有价值、有意义的数据。特别是金融数据，存在数据缺失，不完整以及极端异常值等问题，对于我们的分析和建模影响很多。

对于我们分析多因子模型来说，我们进行数据处理主要有以下两个原因：
【1】原始数据使用到因子中会存在很多杂音，对于我们进行因子分析有很多的影响，
【2】各因子结合在一起来分析模型的主动收益时，要求各因子数据的分布要相互匹配（类似的分布）。

首先，我们先处理极端异常值Outliers，处理异常值的方法有成千上万种，其中我们使用最多并且非常有效的方法是如下公式：

以上两个公式分别决定了数据的上限和下限，其中N常取2或3， 分别是将全部数据从小到多排序75%，25%百分率对应的数据值，m是整列数据的中位数。

按照如上方法处理完异常值后，需检验我们的数据是否充分处理。我们检验的标准是：先计算经处理数据的偏度Skewness