对抗性训练（Adversarial training）

对抗性训练最大最小化公式：
$$\underset{\theta }{\min }{\mathbb{E}}_{(x,y)\sim \mathcal{D}}\left[\underset{\Delta x\in \Omega }{\max }L(x+\Delta x,y;\theta )\right]$$

$\mathcal{D}$表示训练数据，$x$表示输入，$y$表示标签，$\theta$表示模型参数，$L(\cdot )$表示损失函数，$\Delta x$表示对抗扰动，$\Omega$表示扰动空间。

最大化和最小化的对象不同：

• 最大化扰动量$\max \Delta x$
• 最小化平均损失$\min {\mathbb{E}}_{(x,y)}L(\cdot )$

最终目的：优化模型参数$\theta$，提高DL模型的泛化性能。

对抗性训练过程如下：

1. 向输入$x$里中添加扰动$\Delta x$，$\Delta x$会使得模型无法得到正确的预测结果$y$，即$f(x+\Delta x)\ne y$，从而依据损失函数产生相应损失值。其中$\Delta x$的值会被限制在扰动空间$\Omega$内，如$\Vert \Delta x\Vert \le ϵ$，确保输入样本对人来说无差别。
2. 模型添加扰动后的输入为$x+\Delta x$，利用$(x+\Delta x,y)$来训练模型，更新模型参数$\theta$来最小化训练数据的平均损失。