TIP 2022 | Crafting Adversarial Perturbations via Transformed Image Component Swapping

论文标题	Crafting Adversarial Perturbations via Transformed Image Component Swapping
作者	Akshay Agarwal, Member, IEEE, Nalini Ratha , Fellow, IEEE,Mayank Vatsa, Fellow, IEEE, and Richa Singh , Fellow, IEEE
期刊/会议	IEEE TRANSACTIONS ON IMAGE PROCESSING(TIP) 2022
科研机构	1. Akshay Agarwal : Department of Data Science and Engineer- ing, IISER Bhopal, Madhya Pradesh 462066, India 2. Nalini Ratha : Department of Computer Science and Electrical Engineering, University at Buffalo, Buffalo, NY 14260 USA 3. Mayank Vatsa and Richa Singh : Department of Computer Science Engineering, IIT Jodhpur, Jodhpur 342037, India
开源代码
开源数据
摘要	对抗性攻击已经被证明可以欺骗深度分类网络。这些攻击有两个关键特征：首先，这些扰动大多是从深度神经网络本身精心制作的加性噪声。其次，噪声被添加到整个图像中，而不是将图像视为构成它们的多个分量的组合。受这些观察的启发，在本研究中，我们首先研究了各种图像成分的作用以及这些成分对图像分类的影响。这些操作不需要网络和外部噪声的知识来有效地发挥作用，因此有可能成为现实世界攻击的最实用的选择之一。基于特定图像分量的重要性，我们还提出了一种针对不可见深度网络的可转移对抗攻击。该攻击利用投影梯度下降策略将对抗性扰动添加到操纵的分量图像。实验在广泛的网络和四个数据库上进行，包括ImageNet和CIFAR-100。实验结果表明，该攻击具有更好的可移植性，从而使攻击者处于有利地位。在ImageNet数据库上，该攻击的成功率高达88.5%，而目前最先进的攻击成功率为53.8%。我们进一步测试了攻击对最成功的防御之一的弹性，即对抗性训练，以衡量其强度。与几种具有挑战性的攻击的比较表明：（i）所提出的攻击对多个不可见的网络具有更高的可转移率，（ii）很难减轻其影响。我们声称，基于对图像组件的理解，所提出的研究已经能够识别出一种迄今为止看不见的、使用当前防御机制无法解决的新型对抗性攻击。

1. Introduction

深度神经网络（DNN）在各种应用中的成功部署要求它们在处理可能包含微小噪声的各种数据输入时必须安全可靠。虽然深度神经网络仍然能够处理由于环境和高斯噪声等自然噪声而存在的图像中的微小变化，但它们非常容易受到精心制作的对抗性噪声的影响。已经开发了几种技术来生成这些对抗性噪声，以欺骗DNN。这些对抗性噪声生成过程可以大致分为两大类：（i）白盒和（ii）黑盒。在白盒类别中，用于欺骗网络的噪声是通过网络本身利用其学习过程（如梯度和参数）生成的。虽然白盒攻击是最成功的攻击之一，但它需要完整的分类系统知识，这在真实的世界中几乎是不可能的。黑箱是最实用的场景之一，由于在学习过程和分类输出方面都不了解分类系统，导致攻击能力差。

除了基于用于噪声生成的网络信息进行分类外，对抗图像还可以进一步分为可感知和不可感知的噪声。对抗性攻击通常旨在通过最小化噪声向量的LP范数来合并不可感知的噪声。文献中报道的大多数对抗性攻击都是对分类系统进行不可感知的扰动和白盒访问。然而，这些非常成功的攻击的一个重要限制是可转移的财产或黑盒环境中的成功。换句话说，白盒攻击在应用于他们没有看到的分类网络时失去了攻击强度，同时最小化LP范数。这为防御者提供了明显的优势，防御者可以以某种方式隐藏网络信息，因此不提供用于制作扰动的重要有用信息。大

多数对抗性示例生成算法都基于以下等式：
$$I_{adv}=I_{org}+\alpha \cdot \eta$$
其中，η是噪声，α是控制噪声量的幅度因子。在上述过程中，η是从整个图像的网络中学习的，而不是优先考虑构成图像的不同分量。图像由在诸如水平和垂直方向的多个方向上参考的多个高频信息和低频信息组成。最近的工作试图利用这方面并学习不同图像分量的η或显示频率的影响。然而，噪声向量是在白盒的垂直方向和低频信息中学习的。最近的工作试图利用这方面并学习不同图像分量的η或显示频率值的影响。然而，噪声向量是在白盒设置中学习的，因此当对抗图像被转移到一个看不见的分类器时，攻击强度会显著下降。虽然作者通过噪声扰动各个分量，但由于噪声的影响，这并不能揭示哪个分量是重要的。图1和表1总结了现有攻击和所提出的攻击在攻击者目标和可应用设置方面的差异。黑盒设置对于真正的现实世界部署是非常可取的，这是大多数现有攻击遭受的地方。对现有工作的详细审查也可以在调研论文中找到。

表II总结了几种现有攻击在转移到黑盒CNN模型时的局限性。现有的每一种攻击在应用于白盒网络时都达到了99%以上的攻击成功率。然而，当攻击应用于黑盒不可见网络时，攻击成功率显著下降。例如，最先进的C&W攻击[在使用Inc-v3生成并用于攻击ResNet-152（Res-152）时，成功率为5.1%。为了克服现有的攻击转移性研究的局限性，并知道单个图像分量的重要性，我们进行了全面的评估，通过交换的组件。这项研究的主要贡献是：

1. 据我们所知，我们首次尝试在不对图像引入任何随机噪音的情况下，理解图像中个别高频组件的重要性。
2. 我们提出了一种新颖的可转移的黑盒攻击方法，利用投影梯度下降策略，在这些图像中交换了高频组件的同时添加噪音向量。
3. 与最先进的（SOTA）基于加性噪音的投影梯度下降攻击相比，所提出的攻击实现了更高的可转移成功率，使其成为实际部署的可行选项。
4. 所提出的攻击对抗最先进的对抗训练方法，表现出很高的鲁棒性。

2. Importance of image components

为了首先理解图像分类中图像分量的作用和重要性，我们进行了大量实验，使用了多个数据库和网络。小波分解通过将图像中的多个方向的分量和低频信息组合成图像的形式，提供了一组精确的图像分量。在这项研究中，我们应用了单层冗余离散小波分解（RDWT），其结果是与原始图像大小相同的四个子带。RDWT在小波子带的分辨率和信息保留方面与传统的离散小波变换（DWT）不同。图2显示了通过小波变换从原始图像中获得的不同图像分量。

• 数据库：

  我们使用了四个流行的目标识别数据库，分别是ImageNet（INet），CIFAR-10（C-10），CIFAR-100（C-100）和Fashion-MNIST（F-MNIST）。这些数据库在类别数量、分辨率、图像类型（如彩色到灰度）方面存在差异，因此它们是进行这种首次研究的理想案例。CIFAR-10和CIFAR-100数据库分别包含10个和100个类别的50,000个训练图像和10,000个测试图像。F-MNIST包含60,000个分辨率为28×28的训练图像和10,000个测试图像。训练集用于学习网络的参数，而评估则在测试集上进行。

• 深度学习架构：

  我们使用了多种分类网络进行广泛研究，包括：（i）自定义卷积神经网络（CNNs），（ii）VGG-16 ，（iii）ResNet-50 ，（iv）Wide-ResNet-16-8 （WRN-16-8），（v）Wide-ResNet-2810 （WRN-28-10），（vi）vision Transformer ，以及（vii）RepLKNetB224In1k 。这些分类网络在层数（深度和宽度）、连接类型（从顺序到残差）、滤波器大小和操作等方面存在差异。VGG是一个包含16层的顺序网络，而ResNet-50是一个深度为50层的网络，同时涵盖了顺序和残差连接，有助于更好的参数学习。与这些网络相反，Wide-ResNet关注网络的深度和宽度，我们使用了两种不同宽度的架构变体。此外，我们还选择了视觉Transformer（ViT）来展示所提出研究的有效性。ViT 是一种计算量较大的架构，需要大量数据进行预训练，然后进行微调。Lee等人针对ViT的另一个局限性（称为ViT-v1），即局部归纳偏差，提出了一种被称为偏移补丁标记和局部自注意力层的添加。Lee等人提出的ViT架构称为ViT-v2。我们还使用了最近提出的网络，RepLKNet 。它提出了对CNN的核空间进行重新参数化，并利用了大小为31×31的滤波器。此外，基于文献中的流行性还构建了一个自定义模型作为了解对抗效应的替代模型。所有实验都是在一台具有11 GB内存的1080ti GPU机器上进行的。代码是在Keras 环境中使用Tensorflow 后端编写的。网络使用Adam优化器进行训练，批量大小设置为32，初始学习率设置为10^(-3)。深层网络训练了200个epochs；而自定义模型训练了100个epochs。为了训练ViTs，我们使用了现有的库。

• 结果分析

  表III总结了说明CIFAR-10数据库中高频组件重要性的结果。这些结果将在两个方面进行讨论：（i）当提供整个未扰动的图像进行分类时，以及（ii）当交换一个或多个分量时。第一方面描述了分类网络的容量，换句话说，如果将干净图像提供给训练过的网络，它的准确性如何。而第二方面描述了分类网络对特定图像分量的弹性或依赖性。最浅的自定义模型如预期一样显示出最低的性能，并在表示为$I_{org}$的干净图像上获得76.02％的分类准确度。WRN-2810显示出最高的性能，在干净的测试图像上实现了94.17％的分类准确度。在这项研究中，我们交换/控制了高频分量，保留了低频分量不变。高频分量的交换不会导致可察觉的变化，并且可以轻松应用于实时环境。表III中报告的结果显示，交换这些分量可能导致显著的准确性损失。在水平、垂直和对角分量中，垂直分量的交换对性能影响最大。

另一方面，网络对对角分量的交换表现出最高水平的鲁棒性。在使用的网络类型方面，基于残差连接的网络，如ResNet和Wide-ResNet，与仅基于顺序连接的网络（如VGG和自定义网络）相比，表现出更高的敏感性。水平和垂直分量的交换导致网络性能的最大降级。分析表明，仅通过简单地交换图像分量，就可以导致性能显著下降，而无需额外的开销，无论是在了解网络知识方面还是在计算外部噪音的计算负担方面。ResNet模型的SOTA变体显示至少47％的下降。此外，ViT-v1和ViT-v2分别在干净图像上获得80.30％和83.04％的准确度。然而，类似于任何CNN架构，ViTs对所提出的分量交换操纵显示出显著的脆弱性。例如，当水平和垂直高频分量一起交换时，ViT-2的准确性从83.04％下降到60.29％。

与CIFAR-10类似，网络对各种图像分量的交换表现出敏感性。WRN-28-10显示出最高的能力获得了76.21%的准确率。当图像的水平和垂直分量都被交换时，准确率下降到22.41%。与基于顺序连接的网络(即，VGG)相比，残差连接网络上的性能下降更大。没有使用定制模型，因为它在CIFAR-100数据库上的性能较低，这不能有效地反映精度的下降。此外，最近最先进的架构，即VITS被用于CIFAR-100图像的分类。VITS的准确性较低可以归因于如前所述，VITS需要大量数据进行预训练；而因为计算限制，我们只在相关数据集上训练这些架构。这两种体系结构对CIFAR-100数据集上的图像分量交换也很敏感。当提供H&V分量交换的图像用于分类时，与干净图像相比，两个VIT都显示出至少14.14%的准确度降低。与包括CNN和VITS在内的其他模型类似，最近的体系结构RepLKNet也被观察到容易受到所提出的分量交换操作的攻击。例如，在CIFAR-100数据集上，RepLKNet在干净图像上的准确率为72.61%，当使用HV分量交换的图像进行评估时，准确率下降了50%以上。同样，在CIFAR-10上，受HV分量互换的影响，可以看到37%以上的降幅。

前两个数据库是由大量高频分量组成的彩色物体数据库，因此，灰度数据库也被用来扩大提出的研究。开发了两种自定义模型，它们在层数，大小和过滤器方面有所不同。被称为Custom-0的模型在数据库的干净图像上产生91.49%的分类准确率，而另一个自定义模型显示出略低的性能值86.74%。表IV总结了F-MNIST数据集的结果。如前所述，由于灰度图像中的高频分量的量较低，因此与彩色图像相比，它们的交换的影响较低。一方面，在彩色图像上的性能退化可以高达50%的情况下，灰度级上的退化被测量为高达23%。对角分量的交换不会导致性能的显著降低。简而言之：①垂直分量显示出最高的灵敏度，因此导致性能的显著下降，②利用水平分量和垂直分量的组合可以进一步拉伸灵敏度，③网络显示出对图像的对角分量边缘的低依赖性或不依赖于图像的对角分量边缘。如表三和表四所示，分量“D”的性能下降幅度最小。我们已经进行了组合（H&D和V&D），它们不会显著影响CNN的脆弱性。它们的性能接近性能最好的组件，即，H为H&D，V为V&D。此外，发现这些组合的攻击成功率显著低于H& V的组合。原因可以从以下事实来理解：由于发现D分量无效，因此与D的任何组合都不如H& V有效。

3. Proposed Adversarial Attack

基于网络对各个图像分量的敏感性，首先通过将给定图像的图像分量与任何随机/期望的类图像交换来生成中间图像。该中间图像被视为用于生成对抗扰动的输入。相反，现有的攻击利用干净的图像作为输入来制作对抗性扰动。首先交换图像分量的直觉是预先减少有助于分类的信息，然后引入噪声可以进一步提高其攻击成功率。

在这项研究中，我们使用了投影梯度下降（PGD）的方法来产生图像特定的扰动。攻击的产生可以描述如下。
$$x^{\prime }={\mathrm{clip}}_{(0,1)}\{x_{\text{swap }}+ϵ\cdot \mathrm{sign}\left({\nabla }_{x_{\text{swap }}}\mathcal{L}\left(x_{\text{swap }},y;\theta \right)\right\}$$
其中，$ϵ$是并入图像中的噪声的幅度参数。$x_{swap}$是原始图像x的图像分量交换变体。$\theta$是使用关于输入图像$x_{swap}$的梯度训练的分类器的参数。$clip$函数确保图像保持在值[0，1]的有效范围内。
$$x^{\prime }={\Pi }_{\text{clip }}\left(x^{\prime }\right)$$
其中，${\Pi }_{\text{clip }}$确保$x^{\prime }$上的扰动范围，该攻击在图像组件交换图像上解决以下优化函数：
$$\underset{x^{\prime }:{\Vert x^{\prime }-x_{\text{swap }}\Vert }_{\infty }<\alpha }{\max }\mathcal{L}\left(x_{\text{swap }},y;\theta \right)$$
与Madry等人提出的PGD攻击类似，所提出的攻击公式也被视为一阶通用对手。

所提出的算法的伪代码在算法1中示出。小波函数计算产生与输入图像相同维度的图像分量的单级冗余DWT。N表示图像（I）的第k个分量与一个随机选择的替代/交换图像（J）的交换，其中k ∈ [1，4]（其中4是总的分解图像分量）。在特定图像分量的交换之后，通过进行逆小波分解来计算空间域中的原始图像。在交换过分量的图像上，通过最大化分类器的损失，使用投影梯度下降方法来学习扰动。图3示出了所提出的图像分量交换对抗攻击的框图。由于特殊的学习外部噪声和关键图像分量的修改，所得到的图像产生高度传染性的对抗性噪声。因此，无论在生成噪声时网络可见还是不可见，所提出的攻击都能获得更高的成功率。

4 实验结果

在本节中，讨论了所提出的攻击的对抗强度。我们使用两个图像分量，即，垂直（V）以及水平（H）和垂直（V）的组合，基于先前提出的研究结果，反映了图像分类的更高影响。首先是CIFAR-10数据库的分析，其次是CIFAR-100和F-MNIST数据库的分析。将所提出的攻击与现有的强大的最先进的攻击即PGD进行比较。对于PGD和所提出的攻击，应用40次迭代来更新幅值为0.03、步长为0.01的噪声向量。在所提出的攻击的情况下，攻击强度是在原始图像和最终对抗性图像之间计算的，以便与投影梯度下降（PGD）进行公平比较。

表五总结了提出的分量交换对抗性攻击的结果，并与对CIFAR-10和CIFAR-100的最先进的PGD攻击进行了比较。这些结果可以从以下几个方面进行讨论：(1)关于噪声产生网络的分析；(2)与PGD攻击的比较；(3)攻击的可转移性；(4)交换图像分量的影响。在这项研究中，我们使用了两个网络，即VGG-16和WRN-28-10来生成噪声，用于所提出的攻击和PGD攻击。当这些网络产生的噪声应用于同一网络时，攻击属于白盒攻击类别。正如预期的那样，白盒设置中的攻击显示出网络性能的更高降级。例如，当使用VGG噪声攻击VGG网络时，所提出的攻击将准确率降低至17.43%。当使用WRN-28-10产生噪声并应用于VGG时，准确率仅降低到56.48%。与PGD攻击相比，在VGG的白盒设置下，该攻击的性能略低于PGD攻击；而在黑盒设置下，该攻击的性能显著提高。PGD攻击表现出很低的可传递性，网络可以自然地应对噪声。网络分析表明，如果噪声产生网络和目标网络遵循相似的配置，则攻击的成功率较高。例如，自定义网络和VGG具有相似的设置，即只有顺序连接。因此，VGG产生的噪声在两个网络上都会产生更高的成功率。类似地，对于宽ResNet或传统的ResNet，当噪声来自类似配置的网络，即WRN-28-10时，攻击成功率很高。

与CIFAR-10数据集类似，在CIFAR-100数据集上，所提出的攻击也显示出显著更高的可转移性，并且比PGD攻击表现得更好。当VGG网络被用来攻击WRN-28-10网络时，所提出的具有水平和垂直分量的交换的攻击显示出19.52%的准确性，这显著低于PGD攻击，即，47.46%（数值越小攻击越好）。类似地，当WRN-28-10网络用于生成对抗性噪声时，VGG网络在提出的攻击图像上显示出4.50%的分类准确率;而在PGD攻击图像上，网络产生31.16%的准确率。该攻击可以提高对抗性攻击的可转移性，并在多个网络上显示出任何攻击的真正实力。在网络配置方面，分析显示了类似的现象，因为生成网络和目标网络的相似配置会产生更好的攻击成功率。

之前，通过组件交换，我们已经展示了ViTs和RepLKNet的准确性降低。现在，当提出的对抗性攻击图像用于分类时，ViTs和RepLKNet的准确性进一步降低。例如，ViT-v2的性能进一步降低到39.77%（从83.04%降低到43.27%）。不仅网络的前1准确度，甚至前5准确度也出现了显着下降，这进一步证明了所提出的攻击具有更高的隐蔽性。例如，在CIFAR-100上，ViT-v2的前5名准确率为83.45%，当使用VGG 16生成的对抗性示例用于分类时，准确率下降到64.89%。通过该攻击的减少是14.11%和14.52%，分别优于传统的PGD攻击的前1和前5的准确性。不仅对ViTs，而且所提出的对抗性示例也可以高度转移到RepLKNet。在CIFAR-10和CIFAR-100上，RepLKNet的性能分别降低了至少41.63%和40.91%。在CIFAR-10和CIFAR-100数据集上，该攻击的可移植性分别比PGD攻击好19.47%和26.78%。据我们所知，这类分析在文献中是缺失的，因此可以更好地帮助提高攻击的强度，从而开发更好的对抗性鲁棒网络。

Fashion-MNIST（F-MNIST）数据库的分析报告见表VI。与先前的颜色和对象数据库类似，与现有的PGD攻击相比，所提出的攻击具有更高的攻击可转移性。当自定义0模型被用来产生垂直分量交换图像上的噪声时，自定义模型在建议和PGD攻击图像上分别达到17.86%和24.55%的准确率。与黑盒设置相反，在白盒设置中，现有的PGD攻击显示出更高的成功率。基于这一观察，我们认为，代替利用传统的PGD对抗训练，使用所提出的攻击方法进行训练可能会在黑盒和白色盒设置中提供更好的对抗鲁棒性。

5 Adversarial strength

在本节中，我们使用一个经过对抗训练的网络，研究了在防御环境中提出的攻击和现有的最先进的PGD攻击的影响。在实验中，使用了两个不同的网络，它们是早期用于生成对抗性示例的网络：VGG和WRN-28-10。每个网络都使用PGD对抗图像进行对抗训练，这些图像使用40次迭代和10次随机重启噪声向量生成。

表7总结了CIFAR-10和CIFAR-100数据库上对抗训练网络的所提出的攻击和现有攻击的强度。除了在整个网络中表现出更高的可移植性外，与标准的复杂PGD攻击相比，所提出的攻击可以更好地抵抗基于对抗训练的防御。分析可以从两个方面呈现：（i）白盒，其中从同一网络生成的噪声用于对抗训练;以及（ii）黑盒，使用另外的网络生成噪声向量。正如预期的那样，在白盒设置中，与黑盒设置相比，网络可以更好地处理对抗性示例。例如，当VGG网络使用VGG的对抗图像进行对抗训练时，网络可以在HV分量交换图像上实现19.40%的准确度。当使用WRN-28-10生成的对抗图像用于VGG的对抗训练时，准确率进一步下降到7.90%。然而，在这两种情况下，所提出的攻击的对抗成功率明显高于PGD。即使在攻击的可转移性的情况下，即，当使用WRN-28-10产生的噪声来攻击对抗训练的VGG网络时，网络很大程度上被成功欺骗。这些结果表明，所提出的攻击更加复杂，即使使用与部署的网络完全不同的网络生成噪声，也可以处理经过对抗训练的网络。该分析进一步建立了所提出的攻击在现实世界中的用例，其中目标网络可能是完全已知的，即使它是对抗安全的，所提出的攻击也可以欺骗分类器。

与CIFAR-10类似，与PGD攻击相比，该攻击在白盒和黑盒设置中都取得了更高的成功率。WRN-28-10网络在CIFAR-100的干净图像上产生76.21%的准确率，当提出的攻击甚至应用于对抗性防御的WRN-28-10网络时，准确率下降到28.31%。另一方面，PGD攻击并没有显著降低网络性能，网络可以达到64.31%的准确率。即使在用于WRN-28-10训练的VGG对抗图像的情况下，WRN-28-10对所提出的攻击的性能也为21.51%，比PGD图像的准确率低18.26%。

正如所预期的，与灰度图像相比，图像分量在复杂纹理对象图像中起主要作用。分量的效果在分类和对抗性防御上时，实验结果是相似的。与高频分量丰富的彩色对象图像的逆向训练网络的分类的改进相比，灰度准确性的改进要高得多。在F-MNIST数据库上，当自定义网络用于噪声生成时，使用HV交换组件的拟议攻击将自定义-0网络的准确性从91.49%降至7.07%（表VI）。对抗训练的Custom-0网络可以将性能提高到46.83%，这仍然显著低于PGD图像上网络可以实现的性能（即，65.00%）。尽管F-MNIST上的网络可以达到更高的准确性，但所提出的攻击的成功率远远高于现有的攻击。表VIII给出了在防御和攻击的白色和黑箱设置中，提出的和现有的跨网络攻击的对抗性抵抗强度。

我们还评估了扰动强度在所提出的攻击和PGD攻击中的作用。如表IX所示，与具有高攻击强度（λ = 0.09）的PGD攻击相比，具有显著较低的扰动强度（λ = 0.01）的所提出的攻击可以产生更高的可转移性。在原始干净图像和最终对抗图像之间计算攻击强度，以便在所提出的攻击和PGD攻击之间进行公平比较。

6 消融实验

在本节中，我们将介绍几项与图像变换的使用相对应的消融研究，分量交换对图像质量或感知性的影响，以及与几种最先进的对抗性攻击的比较。此外，还进行了仔细的研究，以展示基于对抗性数据增强的防御所提出攻击的容易或困难程度。

1. FFT vs. DCT vs. DWT

   傅立叶变换（FT）和余弦变换（CT）有助于分离频谱;然而，与小波分解相反，这些变换不提供为所提出的攻击奠定基础的多方向频率分量。多方向分解的概念有助于提供高频细节，这些细节在某些空间位置可能比其他位置更重要。然而，除此之外，主要的一点是，小波频带以一种方式编码关于原始信号的局部信息，这种方式使得可以丢弃绝对值低于给定阈值的所有系数，并且仍然能够以可接受的精度重建。这个属性有助于在计算逆小波时产生不可感知的变化。这也可以从原始和图像分量交换的对抗图像之间的高SSIM值中观察到。因此，在这项研究中，我们利用小波分解相比，其他图像变换。

2. Perceptibility of Changes

   根据最近工作的实践，我们使用基于SSIM的图像相似性度量分析了像素空间中组件交换的影响。SSIM值计算之间的干净的图像和它的组件退化变量。在颜色数据库中，CIFAR-100测试集上H、V、HV和D分量降解的平均SSIM值分别为0.84、0.85、0.80和0.95。较高的值表明组件退化不会严重影响图像的质量或像素值。除此之外，与现有的工作相比，所提出的攻击具有显著更高的SSIM值。

3. Comparisons With Existing Works

   用于比较的现有算法在几个因素上有所不同，因此分为三个部分：（i）利用频率变换的攻击;（ii）旨在提高攻击的可转移性;（iii）最近的高效攻击。与现有攻击的广泛比较证明了所提出的攻击的有效性和必要性。我们断言，高度可转移攻击的存在可以进一步帮助提高深度神经网络的鲁棒性，这对于现实世界的部署是非常可取的。

   1. Comparison With Existing Frequency Based Attacks:

      Guo等人和Sharma等人提出了利用余弦变换的基于频率的攻击。Sharma等人应用了二进制值的简单掩码，这会丢失像素/频率值;而所提出的攻击不会丢失任何像素信息。此外，数值结果表明，这些低频（DCT变换）攻击的攻击转移率是远远低于提出的攻击。例如，在ImageNet数据集上，所提出的攻击的成功率至少比这些DCT或其他基于频率的攻击高40%。

   2. Comparison With Transfer Based Attacks:

      我们还使用他们论文中使用的实验设置与进行了比较。研究发现，与Li等人提出的攻击相比，所提出的攻击成功率至少高出48.5%。与另一种强大的迁移攻击的比较也在表II中显示。沿着，我们在迁移设置中与标准复杂攻击进行了比较，如TAP ，MI-FGSM，FGSM，CW和通用扰动（UAP）。图5和图6中报告的结果表明，所提出的算法明显优于现有的每种算法。成功的建议攻击评估使用相同的度量，数据库协议，和网络配置中使用的现有文件用于比较。

3. Comparison With Recent State-of-the-Art Attacks

   在不同的场景下，与最近的有效攻击进行了全面的比较，以证明所提出的攻击的强度。例如，我们在对抗训练（AT）防御的情况下比较了所提出和现有攻击的成功率。在ImageNet子集上，所提出的攻击的性能比现有攻击高24%。在使用ReNet生成的对抗图像欺骗VGG模型时，该模型的欺骗率比TAA高20%。相反，发现所提出的攻击的性能比Guo等人好12%。Din等人和Anshumaan等人提出了利用小波分解来制作对抗扰动的其他攻击。我们想强调的是，虽然作者使用了小波变换，但它的使用与我们的工作完全不同。例如，Din等人的攻击利用另一个称为秘密图像的图像，并执行奇异值分解（SVD）来生成对抗图像。然而，该工作的局限性在于对秘密图像的高度敏感性。例如，在ResNet-50上，通过不同秘密图像进行攻击的成功率可以从42.61%到84.77%不等。这表明基于秘密图像的攻击不是很可靠。与提出的攻击相比，提出的攻击的成功率至少比秘密图像攻击高15%。在称为WaveTransform的攻击中注意到类似的可移植性或可推广性问题。仅当使用ResNet模型生成的对抗图像用于分类时，它才将DenseNet模型的性能降低到62.94%。另一方面，所提出的攻击将准确率降低到23.42%。Wei等人提出了一种可移植攻击来欺骗ViT模型，并使用ViT和传统CNN架构进行了实验。为了进行公平的比较，我们使用了ViT-v1和Res-V2架构。当在白盒设置下对ViT-v1模型进行测试时，所提出的算法显示出比Wei等人高40%的成功率。当对Res-V2模型进行攻击时，成功率增加到52%。我们想提一下Wei等人使用多个ViT来执行攻击，而我们只使用单个模型来实现更高的成功率。该比较的结果报告在图7中。图8显示了与另一个最近的可转移攻击的比较。在CIFAR和ImageNet数据集上，该算法的性能明显优于现有算法。

4. Defense

   在本节中，我们将研究使用现有的攻击缓解算法来防御所提出的攻击的容易程度或挑战性。我们想强调的是，所提出的攻击的对抗强度已经在PGD对抗训练中得到了证明，PGD对抗训练仍然是对抗攻击的最强防御之一。对抗攻击的安全性也由对抗性数据增强技术评估，其中由所提出的算法产生的攻击用于对抗性训练。

   1. Existing Mitigation：

      我们应用了中提出的对抗性防御方法。实验是在论文中使用的数据库的子集上进行的。我们已经观察到VGG和WRN-28-10的鲁棒准确性的提高仅在2-6%的范围内，这表明了所提出的攻击的挑战性。与[44]类似，[10]中提出的缓解方法在防御所提出的攻击方面表现出较低的能力。作者已经在CIFAR-10和MNIST上证明了他们的算法的成功。因此，为了公平地评估其算法的有效性，我们在CIFAR-10上检查了其鲁棒性性能。在VGG网络上，防御只能将性能提高6%;而在WRN 28 -10上，鲁棒性仅提高3%。通过所有这些实验评估，很明显，所提出的攻击不仅是有效的欺骗，但也很难显著减轻。除此之外，在论文[48]中提出的多个函数存在的情况下，所提出的攻击的成功率没有显示出任何显著的下降。有趣的是，大多数函数都提高了所提出的攻击的攻击成功率（ASR）。我们还使用另一种最近提出的核平滑方法进行了鲁棒性研究[53]。在提出的攻击中，核平滑[53]将正常训练的WRN-28-10的准确性提高了2%;而防御则降低了对抗训练模型的性能。简而言之，在[53]中提出的防御被发现对拟议的攻击无效。

   2. Proposed Attack Adversarial Training

      为了稍微减轻对所提出的攻击的保护，使用所提出的攻击的对抗性训练可以增加论文中提到的每个敏感点的鲁棒性，即，交换组件、PGD攻击和建议攻击的敏感性。正如通过多次实验所示，所提出的攻击在欺骗每个网络方面表现出很高的可移植性，有趣的是，使用一个网络生成的对抗图像在用于训练其他网络时，可以有效地提高其鲁棒性。例如，当VGG生成的图像被用于Wide-ResNet的对抗训练时，它增加了对每个敏感方向的鲁棒性。在最有效的HV图像组件交换上，性能提升了38.27%。另一方面，PGD和建议攻击的成功率分别下降了26%和21%。在本文中使用的每个颜色数据库中观察到，因此所提出的基于攻击的对抗性训练也可以是一种有效的防御策略。

5. Impact of Swap Images

   我们断言，每个交换图像可能不会影响分类器的分类性能，这也是我们不应该期望的。为了理解选择图像进行交换的影响，我们进行了几次随机运行（10次），每次选择一个不同的目标图像，可以用于与源图像的分量进行交换。通过多次实验发现，在WideResNet模型上，CIFAR-10和CIFAR-100数据库的攻击性能在1.6%到4.4%之间变化。相比之下，秘密图像攻击[16]显示出超过40%的变化。多重选择实验的结果报告于表X中。通过较低标准差的可视化，很明显，选择对网络的攻击性能或敏感性没有很大影响。值得注意的是，所选图像不是来自一个类，而是分布在数据库中的各个类中。

   

6. Computational Complexity

   在所提出的操作设置中，我们计算了源图像(需要操作)和目标图像(用于操作)的单层小波分解。然后将所需的分量(S)交换在一起形成攻击图像。由于小波分解也可以很容易地应用于资源受限的设备，因此所提出的操作不需要大量的计算资源。在CPU设备上，在CIFAR-100和F-MNIST数据库的测试集上，图像分量操作分别需要大约362秒和144秒。另一方面，在1080TiGPU机器上计算扰动所需的时间与计算PGD扰动的时间相同。虽然扰动时间与PGD相似，但我们想指出的是，所提出的研究的目的不是减少微扰产生的计算时间，而是提高其在转移设置下的成功率。

7 总结与未来工作

操作不需要大量的计算资源。在CPU设备上，在CIFAR-100和F-MNIST数据库的测试集上，图像分量操作分别需要大约362秒和144秒。另一方面，在1080TiGPU机器上计算扰动所需的时间与计算PGD扰动的时间相同。虽然扰动时间与PGD相似，但我们想指出的是，所提出的研究的目的不是减少微扰产生的计算时间，而是提高其在转移设置下的成功率。

7 总结与未来工作

在本文中，我们研究了图像分量在图像分类和生成对抗性图像中的作用。结果表明，利用小波分解得到的图像高频分量对图像的分类有明显不同的影响。通过将图像的这些图像分量与所选类别的预先选择的图像或任意类别的随机选择的图像进行交换，创建新的对抗性图像。图像中的对角分量对图像分类的影响很小，甚至没有影响。有趣的是，发现垂直分量更突出，会导致分类精度严重下降。基于这一观察，通过交换关键组件来生成中间图像。随后，通过投影梯度下降方法在该中间图像上产生对抗性噪声。提出的攻击旨在提高可移植性，以便更好地应用于现实世界中的未知网络。在多个数据库和卷积神经网络(包括VGG和Wide-ResNet)上的实验验证了上述目的。我们将提出的攻击与最先进的(SOTA)攻击进行了比较，反映了更高的攻击成功率。此外，我们还建立了提出的攻击在对手训练的网络上的弹性，并展示了其攻击能力。我们希望所提出的研究将有助于通过理解在图像中继承的各种单独组件的角色来提高分类性能。此外，通过破坏这些组件和降低这些组件中的噪声，可以分别提高对抗性攻击和健壮性。所提出的攻击可以进一步扩展到利用多层小波分解和/或利用产生多方向图像分量的Gabor滤波或JPEG压缩的概念。最后，提出的研究可能会通过已识别的对抗性攻击对安全考虑产生潜在的负面影响。不过，我们认为，识别网络的这种敏感性对于进一步提高其性能至关重要。