DeepFool公式理解

参考：https://posts.careerengine.us/p/5ff6b16ae83b0349b1f7c3a3

1、二范数

 论文中：

         以上是鲁棒性定义，即给定一个分类器，样本鲁棒性是使得模型出现误分类的最小扰动，即。为干净的样本，为模型预测的标签。是分类器在处鲁棒性。
模型在整个数据集上的鲁棒性定义为：

 这是一种期望的形式。作者的这种定义是在分母中都除以一个样本的 2 范数。模型鲁棒性是更好地理解当前网络体系结构的局限性和设计增强健壮性的方法的关键。

2、DeepFool攻击二分类器

 图2：线性二进制分类器的对抗样本。

 上图为对抗样本攻击线性分类器的图示。其中为一个二分类器。为干净样本点的最短距离，即为样本点在分类器中的鲁棒性。

 =0   为分类超平面。

目标函数如下：

意思是：改变分类器决策的最小扰动对应于  x0  在  F  上的正交投影。它由以上解析公式给出。

为了更好的理解上图对抗样本攻击二分类器的原理，我重新画了一个图来对其进行解释。如下图所示，在二维平面中，有一条直线和一个点 ，其中直线的法向量为，由高中的点到直线的距离知识可知点到直线的距离为：

 

 3、论文给出的最终公式如何推导？

上面目标函数可以通过迭代的方式来进行求解以获得最小对抗扰动，可以重新转换成如下的优化形式：

 下面为具体的推导过程：

已知梯度（函数在当前位置的导数） ，所以有：

又因为梯度的模长为 1，所以两边同乘以有：

 最后，移项可得到最终论文中给出的公式：

 4、DeepFool攻击多分类器

 介绍完 DeepFool 攻击二分类器，这一节介绍有关 DeepFool 攻击多分类器。分类器预测标签如下公式所示：

 其中， 是预测概率向量的第 k 类的概率分量。多分类器模型误分类的优化函数如下所示：

 为了更好的理解以上优化形式的含义，自己做了一个图示便于理解。如下图所示，左半部分是干净样本的概率向量的输出，预测的类别为 ，加入对抗扰动后，预测类别变成了 。

 如下图实例所示，已知一个四分类器，干净样本被分为第四类中。绿色区域为一个凸区域可以表示为：

 根据高中的点到直线的距离公式，可以推算得知点到三条边界最短的距离的计算公式为：

 与 DeepFool 攻击二分类器相似，则多分类器的对抗扰动为：

 下面是自己的理解：

 5、非线性多分类