Lecture 9(Preparation)：机器学习模型的可解释性(Explainable ML)

目录

① Local Explanation: Explain the Decision

② Global Explanation

Outlook

---

我们需要Explainable ML的一些理由如下：

• Loan issuers are required by law to explain theirmodels.
• Medical diagnosis model is responsible for humanlife. It can not be a black box.
• If a modelis used at the court, we must make surethe model behaves in a nondiscriminatory manner.
• If a self-driving car suddenly acts abnormally, we need to explain why.
• We can improve ML model basedon explanation.——离这个目标还有很长的一段距离

Interpretable v.s. Powerful

• Some models are intrinsically interpretable. But not very powerful. For example, linear model (from weights, you know theimportance of features).
• Deep network is difficult to interpretable. Deep networksare black boxes ... but powerful than a linear model.

Goal of Explainable ML:

explanation的目标非常不明确。什么是好的explanation？Make people (yourcustomers, your boss, yourself) comfortable.（李宏毅老师的看法）

Explainable的Machine Learning分成两大类：

① Local Explanation: Explain the Decision

方法一：用方框遮住图片中不同的位置。如果遮住某块地方，network的输出结果发生很大改变，那么说明这块地方是重要特征。

方法二：计算gradient

        如何把Saliency Map画的更好——SmoothGrad

        Limitation: Gradient Saturation

        Gradient cannot always reflect importance of component.

        比如下面的例子，大象鼻子长度较短的时候，改变鼻子的长度会对判断它是否为大象的结果造成较大影响，但当鼻子长到一定程度的时候，改变一点点鼻子的长度并不会对判断结果造成影响，但是这时候∂elephant/∂length=0并不能说明鼻子长度不是判断结果是否为大象的重要依据。

        改进方法：Integrated gradient (IG)

上面是看输入的哪些部分比较重要，接下来讨论的是给network一个输入的时候，network如何去处理这个输入。

How a network processes the input data?

        ① Visualization

        ② Probing

        用“探针”插入network，去看发生了什么事情

        探针有种种的可能性，它可以是一个classifier，如下例：

        探针也可以是一个语音合成的模型：

② Global Explanation

Global Explanation不是针对特定的某一张照片进行分析。

如果是做分类问题，判断图片是否为猫：把训练好的模型拿出来，根据模型里面的参数去检查对这个network而言，到底一只猫长什么样子。

下面以CNN为例，它是一个image classifier。CNN的每一个filter都会侦测一个pattern。那我们可以训练一张图片（不是database中的图片），使得某一个filter对应输出的feature map的值最大，这张image就反映了这个filter侦测的是什么样的pattern：

如果想看上面的image classifier最终的output，此时需要训练一张图片X，X可以让某一个类别的分数越高越好，下面是一个手写数字辨识的例子：

Adversarial Attack（对抗攻击），即对输入样本故意添加一些人无法察觉的细微的干扰，导致模型以高置信度给出一个错误的输出。在接下来的lecture9和lecture10的正课部分讲解。

如上图，如果只是单纯的找一张image，让这张image对应到某一个数字的信心分数越高越好，只能找到一堆杂讯。在寻找image的过程中，做optimization的时候，要加上很多的限制，找出来的image才会比较接近我们想看到的东西：

要真的得到很像output对应种类中物体的图片X，要加非常多的限制，下面是文献中得到的结果：

对于Global Explanation，如果真的要看到非常清晰的图片，有一个方法是使用generator：

Outlook

Explainable的Machine Learning，除了上面的两个主流技术，还有很多其他的技术。

下面再介绍一个技术：Using an interpretable model to mimic thebehavior of an uninterpretable model.

用一个比较简单的模型，去模仿复杂模型的行为。如果简单的模型可以模仿复杂模型的行为，那么去分析简单的模型，也许就可以知道复杂的模型在做什么。

不过有很多的问题是neural network能做到而linear model做不到的事情，那我们可以用linear model去模仿黑盒子的部分行为，去解释这部分行为背后的原因：