机器学习的挑战：黑盒模型正面临这3个问题

导读：本文将讲述可解释机器学习的研究背景，介绍黑盒模型存在的问题和风险，通过一些小故事让读者了解问题的严重性。

作者：索信达控股 邵平 杨健颖 苏思达 何悦 苏钰

来源：大数据DT（ID：hzdashuju）

01 机器学习面临的挑战

2016年3月，基于深度学习算法的阿尔法围棋（AlphaGo），以4∶1的总比分战胜围棋世界冠军李世石，深度学习算法从此一战成名，成为机器学习领域备受推崇的明星算法，在计算机视觉，语音识别，自然语言处理、生物信息学等领域都取得了极好的应用成果。

虽然深度学习模型、集成学习模型（比如XGBoost、LightGBM等）在很多领域都取得了很好的成果，但是这类模型有一个共同的特点就是：内部结构非常复杂，其运作机制就像一个黑盒子一样，难以用人类可以理解的语言去描述，模型输出结果也难以被解释，使得其在一些有关生命安全或重要决策领域的应用受到巨大挑战。

比如在银行业，2019年2月，波兰政府增加了一项银行法修正案，该修正案赋予了客户在遇到负面信用决策时可获得解释的权利。这是GDPR（《通用数据保护条例》，General Data Protection Regulation）在欧盟实施的直接影响之一。这意味着如果决策过程是自动的，那么银行需要能够向客户解释为什么不批准贷款。

2018年10月，“亚马逊人工智能招聘工具偏向男性”的报道登上了全球的头条新闻。亚马逊的模型是基于有偏见的数据进行训练的，这些数据偏向于男性应聘者。该模型构建了不利于含有“Women's”一词的简历的规则。

以上问题的提出，表明业界对模型的应用要求，已经不只是停留在准确性层面，模型结果能否解释，模型是否安全、公正、透明等也是机器学习面临的新挑战。

02 黑盒模型存在的问题

在实际应用中，黑盒模型为什么难以一步到位解决所有问题呢？在回答这个问题之前，我们先来看几个银行业的小故事。

1）小杨是某银行的一名理财客户经理，年关将至，马上就要业绩考核了，但其业绩离既定的销售目标还有一定的距离，于是他决定使用一个机器学习模型，判断他所负责的客户名单中哪些人更有可能会购买基金产品。花了一周时间编写代码和做特征工程，小杨顺利地运行了一个XGBoost（Extreme Gradie