揭示超大核卷积网络鲁棒性的黑暗秘密

摘要

在实际部署深度学习模型时，鲁棒性是需要考虑的一个重要方面。 大量研究致力于研究视觉变换器 (ViT) 的鲁棒性，自 2020 年代初以来，ViT 一直作为视觉任务的主流骨干选择占据主导地位。 最近，一些大型内核卷积网络以令人印象深刻的性能和效率卷土重来。 然而，目前仍不清楚大型内核网络是否具有鲁棒性以及其鲁棒性的归属。 在本文中，我们首先在六个不同的鲁棒性基准数据集上对大型内核卷积网络的鲁棒性及其与典型小内核对应物和 ViT 的差异进行了全面评估。 然后，为了分析其强大鲁棒性背后的潜在因素，我们从定量和定性的角度设计实验，以揭示大核卷积网络与典型卷积网络完全不同的有趣特性。 我们的实验首次证明纯 CNN 可以实现与 ViT 相当甚至优于 ViT 的卓越鲁棒性。 我们对遮挡不变性、内核注意力模式和频率特征的分析为鲁棒性的来源提供了新的见解。 代码位于：https://github.com/Lauch1ng/LKRobust。

[table]capposition=顶部 capbtabboxtable[][]

1简介

过去十年来，深度学习的发展与卷积神经网络（CNN）紧密相连（LeCun 等人，1998；Krizhevsky 等人，2012；Simonyan & Zisserman，2014；He 等人，2016），为推动人工智能的进步发挥了至关重要的作用。 尽管如此，随着 2020 年代的到来，视觉变形金刚（ViTs）的出现（Dosovitskiy 等人，2020；Liu 等人，2021；Touvron 等人，2021；Wang 等人，2021）深刻动摇了CNN的霸主地位。 在自注意力机制的推动下，ViT 在图像分类等各种视觉任务中表现出了最先进的性能（Dosovitskiy 等人，2020；Liu 等人，2021），物体检测（Carion等人，2020；戴等人，2021；朱等人，2020；孟等人，2021），语义分割（程等人，2021，2022） 和自监督学习（Bao 等人，2021；He 等人，2022；Chen 等人，2024b），展示了它们作为基础模型选择的特殊属性。

作为一种通用且广泛使用的骨干网，ViT 的一个关键属性是其强大的鲁棒性。 在野外部署深度学习模型时，鲁棒性是需要考虑的一个重要方面（Paul & Chen，2022）。 具体来说，对于自动驾驶汽车、机器人和医疗保健等安全关键应用，学习到的表示必须具有鲁棒性，如果没有很强的鲁棒性，模型就无法实际实现（Naseer等人，2021）。 许多研究致力于评估 ViT 的稳健性（Mahmood 等人，2021；Naseer 等人，2021；Paul & Chen，2022；Shao 等人，2021；Bhojanapalli 等人，2021）. 他们证明了 ViT 具有通用且强大的鲁棒性，在各种鲁棒数据集上表现出色（Hendrycks 等人，2021b；Hendrycks & Dietterich，2019；Hendrycks 等人，2021a；Xiao 等人，2020） 并展示在处理特定干扰（例如图像遮挡和对抗性攻击）方面比典型的 CNN 具有明显的优势（Naseer 等人，2021）。 强大的鲁棒性为ViT在各种现实场景中的广泛应用铺平了道路。

另一方面，各方共同努力致力于 CNN 的复兴。 值得注意的是，在重新审视大型内核设计方面的最新进展（Liu 等人，2022b；Ding 等人，2022；Liu 等人，2022a；Ding 等人，2023；Chen 等人，2024a）表明：当配备大内核（例如 $31\times 31$)时，纯 CNN 架构的性能可以与最先进的 ViT 相当甚至更好。 大核卷积可以大幅增加模型的有效感受野（Ding等人，2022），使得大核卷积网络在各种视觉任务中都具有出色的性能（Liu等人，2022b; Woo等人, 2023; 刘等人, 2022a; 卢等人, 2023; 黄等人, 2023)，例如分类、分割和检测等。 然而，目前仍不清楚大型内核网络是否具有鲁棒性以及其鲁棒性的归属，这至关重要，可能会对其实际应用和发展产生重大影响。 人们很自然地会问： 大型内核网络本质上是鲁棒的吗？ 它们在鲁棒性方面与典型的 CNN 和 ViT 有何不同？ 如果它们足够强大， 是什么有助于它们的稳健性？ 在本文中，我们深入研究了上述问题，为推理大型内核卷积网络的鲁棒性提供了经验证据和新颖的见解。

为了回答前两个问题，我们对六个不同且广泛使用的稳健性基准数据集进行了彻底的实验。 这些数据集从自然对抗性(Hendrycks等人, 2021b)、常见损坏(Hendrycks & Dietterich, 2019)、语义转变( Hendrycks 等人, 2021a)、域外分布(Hendrycks 等人, 2021b)、常见扰动(Hendrycks & Dietterich, 2019)和背景依赖(Xiao 等人, 2020)。 与传统 CNN 形成鲜明对比的是，大型内核网络表现出异常强大的鲁棒性，可与 ViT 相媲美甚至优于 ViT。

为了理解大型内核网络卓越鲁棒性的根本因素，我们系统地设计了九个实验，从定量和定性的角度深入了解其鲁棒性。 这些实验和可视化揭示了大型内核卷积网络的有趣特性，例如遮挡不变性、内核注意力模式和频率特征，这有助于理解其鲁棒性背后的原因。 我们的贡献可总结如下：

• 我们在六个 ImageNet 数据集上探讨了大型内核网络的鲁棒性，涉及不同类型的鲁棒性评估，并与典型的 CNN 和 ViT 进行了全面比较。 我们证明了大内核卷积网络的鲁棒性与典型的 CNN 显着不同，并且与 ViT 相当甚至优于 ViT。

• 我们设计了九个实验，从定量和定性的角度研究大型内核卷积网络的鲁棒性、传播遮挡不变性、对抗性攻击、模型扰动、频率特征和内核注意模式等。

• 我们的分析提供了对大型内核卷积网络的鲁棒性的见解，促进了它们的应用和更广泛的发展。 此外，我们的研究首次揭示纯 CNN 可以实现与 ViT 相当甚至更高的鲁棒性，这表明自注意力并不是实现强鲁棒性的唯一途径，为 CNN 的复兴又迈出了一步。

2相关工作

2.1 大型内核卷积网络

大核卷积网络可以追溯到深度学习早期阶段的一些传统模型（Krizhevsky等人，2012；Szegedy等人，2015，2016）。 然而，以 VGG-Net （Simonyan & Zisserman，2014） 和 ResNet （He 等人，2016）为代表的小型卷积网络的兴起，促进了CNN 的成功。 从那时起，一堆小内核（例如 $1\times 1$ 或 $3\times 3$)成为卷积网络设计的主流选择。 大核卷积很少受到关注，甚至被发现对 Imagenet 性能不利（Peng 等人，2017）。 最近，以ConvNeXt (Liu 等人，2022b)和RepLKNet (Ding 等人，2022)为代表的工作引发了大核卷积网络的复兴(Trockman & Kolter, 2022; 刘等人, 2022b; 丁等人, 2022; 刘等人, 2024a)。 他们证明，大内核可以有效增强模型性能，尤其是在下游任务中（Ding等人，2022）。 大核设计也被引入到其他领域，例如3D主干（Chen等人，2023；Lu等人，2023）、连续卷积（Romero等人，2021b，a） 、知识蒸馏（黄等人，2023）和多模态学习（丁等人，2023）。 尽管取得了这些进展，但它们的稳健性评估和归因在很大程度上仍未得到探索，这可能会对其实际应用和开发产生重大影响。 与以往的工作不同，本文研究了大核网络的鲁棒性，设计实验从多个角度分析其有趣的特性，为大核的复兴又迈出了一步。

2.2 ViT 的稳健性

作为多才多艺的骨干网，ViT（Dosovitskiy 等人，2020；Liu 等人，2021）在各种视觉任务中表现出了令人印象深刻的性能（Dosovitskiy 等人，2020；Liu 等人， 2021；戴等人，2021；朱等人，2020；程等人，2021，2022）。 ViT 相对于 CNN 的一个关键优势是其强大的鲁棒性，这为 ViT 在各种现实场景中的广泛应用铺平了道路。 许多作品试图从不同的角度研究 ViT 的鲁棒性。 与 ResNet (He 等人, 2016)、Bhojanapalli et al 相比。 （Bhojanapalli 等人，2021） 研究了在对抗性和自然对抗性示例上进行评估时 ViT 鲁棒性的提高。 邵等人。 （Shao等人，2021）揭示了ViT比CNN具有更好的对抗鲁棒性，这很大程度上归因于它们学习高度泛化的高频特征的能力，而卷积层似乎会阻碍这一点。 保罗等人。 （Paul & Chen，2022）进一步整合并扩展稳健性分析的范围，以阐明 Vits 卓越稳健性背后的潜在因素。 Raghu 等人。 （Raghu等人，2021）从不同角度对ViT和CNN的差异进行了详细分析，深入了解了它们的鲁棒性差异。 通过与规范CNN的比较，这些研究表明ViT通常更加鲁棒，同时也启发了进一步提高ViT鲁棒性的工作（毛等人，2022；周等人，2022；郭等人，2023）。 与之前的 ViT 鲁棒性分析工作不同，这项工作重点关注大型内核网络（Trockman & Kolter, 2022; Liu 等人, 2022b; Woo 等人, 2023; Ding 等人, 2022; Liu 等人，2022a），在主流任务上展示了与 ViT 竞争的性能，并且最近引起了相当大的兴趣。 我们设计系统实验来评估其稳健性，并提供分析潜在因素的见解。

3大型内核卷积网络是否稳健？

图1： 型号配置。 我们描述了模型大小和相应的 ImageNet-1k top-1 精度。 我们选择具有相似精度和参数数量的模型（除了 resnet-50 作为基线）。 所有报告的变体都在 ImageNet-21k 上进行预训练，然后在 ImageNet-1k 上进行微调。

在本节中，我们深入研究前两个问题：大型内核卷积网络是否是鲁棒学习器，以及它们在鲁棒性方面与典型的 CNN 和 ViT 有何不同。 具体来说，我们在六个广泛接受的鲁棒性数据集上进行了一项实证研究，将大内核卷积网络与其典型的小内核对应物和 ViT 进行比较。 3.1节详细介绍了模型的配置，而3.2节则介绍并讨论了数据集和相应的结果。

3.1模型配置

我们选择大型内核卷积网络的代表作品 RepLKNet (Ding 等人, 2022) 作为我们实验的主要模型。 RepLKNet 是第一个将内核尺寸扩展到极大（即 $31\times 31$)的工作，并已应用于各种视觉任务（Liu 等人，2022a；Chen 等人，2023；Lu 等人，2023；黄等人，2023）。 为了进行比较，我们选择 ViT (Dosovitskiy 等人, 2020) 作为强基线。 ViT 已被大量研究证明具有显着的鲁棒性(Naseer 等人, 2021; Paul & Chen, 2022; Shao 等人, 2021; Bhojanapalli 等人, 2021)，与传统方法相比具有明显的优势卷积网络。 为了与典型的卷积网络进行比较，我们选择 Big Transfer (BiT) (Kolesnikov 等人, 2020)，它不仅在 ImageNet 上而且在各种迁移学习场景上都具有出色的性能(Lin 等人，2014；翟等人，2019）。 由于 RepLKNet、BiT 和 ViT 共享相似的预训练策略（例如使用更大的数据集，如 ImageNet-21K (Deng 等人, 2009)、扩展的预训练计划等），因此它们服务作为我们比较目的的优秀候选者。 此外，我们添加 ResNet-50 (He 等人, 2016) 作为基本基线。 我们选择具有相似精度和参数数量的模型（除了 resnet-50 作为基线）。 不同模型在ImageNet-1K上的参数数量和top-1准确率如图1所示。 请注意，所有报告的变体最初都是在 ImageNet-21K 上进行预训练，然后在 ImageNet-1K 上进行微调。

3.2不同数据集的鲁棒性评估

接下来，我们在六个稳健性基准数据集上评估上述模型变体的性能。 这些数据集从多个维度评估模型的稳健性，包括：i)自然对抗； ii) 常见腐败； iii) 域外分发； iv) 常见扰动； v) 语义转变； vi) 后台依赖。 附录A总结了他们的具体目标和地点。

ImageNet-A (Hendrycks 等人, 2021b) 是真实世界的对抗性过滤图像的数据集，可以欺骗当前的 ImageNet 分类器。 在图2(a)中，我们报告了ResNet、BiT、ViT和RepLKNet在ImageNet-A数据集上的top-1准确率。 与典型的卷积网络相比，RepLKNet 的性能大幅优于 ResNet 和 BiT。 例如，RepLKNet-31B 的 top-1 精度$2.8\times$高于 BiT-m r101$\times$3。 它甚至略微超过了模型尺寸更大的 ViT-L，这表明大内核卷积网络对自然对抗性挑战具有很强的鲁棒性。

(a) Accuracy comparison on ImageNet-A.

(b) Accuracy comparison on ImageNet-C.

(c) AUPR comparison on ImageNet-O.

图2： ImageNet-A、ImageNet-C 和 ImageNet-O 的比较。 对于 ImageNet-A，我们报告了 top-1 准确率；对于 ImageNet-C，我们报告了所有 19 个损坏的平均 top-1 准确率；对于 ImageNet-O，我们报告精确召回曲线下的面积 (AUPR)。 请注意，对于所有指标而言，越高越好。 RepLKNet-31B 在 ImageNet-A 和 ImageNet-O 上的表现与 ViT-L 相当甚至更好，证明了大内核卷积网络的强大鲁棒性。

ImageNet-C （Hendrycks & Dietterich，2019） 包含 15 类算法生成的损坏和另外四种一般损坏类型，总共有 19 种损坏类别。 每种腐败类型都有五个严重级别，从可忽略到极严重。 我们评估了所有 19 个损坏的最高严重级别 (5)，并在图 2(b) 中描绘了平均 top-1 准确度。 我们观察到 RepLKNet 的性能与 ViT-L 相当，并超越所有典型的卷积网络和 ViT-B/16。 考虑到 ViT-L 的参数数量明显高于 RepLKNet，这进一步验证了大型内核卷积网络的鲁棒性。

Model / Method	mCE
ResNet-50	76.7
BiT m-r101×3	58.3
DeepAugment + AugMix	53.6
ViT-L/16	45.5
RepLKNet-31B	36.5

表1： ImageNet-C 上不同模型和方法的 mCE (%)（越低越好）。

Model / Method	mFR	mT5D
ResNet-50	58.0	82.0
BiT m-r101×3	50.0	76.7
AugMix	37.4	N/A
ViT-L/16	33.1	50.2
RepLKNet-31B	29.2	49.8

表2： ImageNet-P 数据集上的 mFRs (%) 和 mT5Ds (%) 比较（越低越好）。

Model	Origin	Mixed-Same	Mixed-Rand	BG-Gap
BiT m-r101×3	94.3	81.2	76.6	4.6
ResNet-50	95.6	86.2	78.9	7.3
ViT-L/16	96.7	88.5	81.7	6.8
RepLKNet-31B	97.3	92.3	88.2	4.1

表3： ImageNet-9 上的 Top-1 acc 比较。 BG-Gap=混合相同-混合兰德。 它衡量存在正确标记的前景时背景相关性的影响程度。

此外，（Hendrycks & Dietterich，2019）提出平均损坏误差（mCE）来量化 ImageNet-C 上模型的鲁棒性因素。我们遵循相同的评估方法并在表 3 中报告 mCE 比较。 我们还添加了 DeepAugment (Hendrycks 等人, 2021a) 和 AugMix (Hendrycks 等人, 2020)，它们专门旨在增强模型针对 ImageNet 中观察到的损坏的鲁棒性 - C。 令人惊讶的是，RepLKNet 的性能优于其他方法，并且有明显的差距。

图3： ImageNet-R 上的精度比较。 我们报告所有模型变体的 top-1 准确度。 RepLKNet-31B 的性能仍然大幅优于 ViT-B/L。

ImageNet-O (Hendrycks 等人, 2021b) 是 ImageNet 分布外检测器的对抗性过滤示例的数据集。 继(Hendrycks等人, 2021b)之后，我们使用精确召回曲线下面积（AUPR）作为ImageNet-O的评估指标。 如图2(c)所示，RepLKNet 明显优于所有其他模型变体，展示了大内核卷积网络在异常检测方面的卓越鲁棒性。

ImageNet-P （Hendrycks & Dietterich，2019） 由 10 种常见扰动组成。 ImageNet-P 与 ImageNet-C 的不同之处在于它从每个 ImageNet 验证图像生成扰动序列。 这些扰动是微妙的，影响图像中较少数量的像素。 我们按照（Hendrycks & Dietterich，2019）使用平均翻转率（mFR）和平均top-5距离（mT5D）作为评估模型稳健性的标准指标。 为了简洁起见，我们在这里省略了 mFR 和 mT5D 的详细公式。 如表3所示，RepLKNet的鲁棒性再次被证实优于BiT、ViT和AugMix。

ImageNet-R (Hendrycks 等人, 2021a) 包含 ImageNet-1K 数据集中 200 个类别的各种艺术表现形式。 我们在图 3 中报告了 ImageNet-R 上的 top-1 精度比较，表明 RepLKNet 对域适应的鲁棒性优于 BiT 和 ViT。

ImageNet-9 (Xiao 等人, 2020) 有助于理清前景和背景信号对分类的影响。 它衡量模型对背景变化的鲁棒性。 如表3所示，我们报告了四个指标来评估模型对背景变化的稳健性。 Origin指的是不修改背景的原始精度。 混合相同涉及用相同类中的随机背景替换原始背景。 Mixed-Rand 表示用随机类中的随机背景替换原始背景。 BG-Gap = Mixed-Same - Mixed-Rand，用于衡量存在正确标记的前景时背景相关性的影响程度。 结果表明，RepLKNet 在前三个指标上始终超过 BiT 和 ViT。 此外，RepLKNet 的 BG-Gap 要小得多，这表明大内核卷积网络对背景修改不太敏感，表现出更强的背景鲁棒性。

(a) Random patch-drop.

(b) Salient patch-drop.

(c) Non-salient path-drop.

图4： 不同设置下的遮挡鲁棒性比较。 我们使用随机下降、显着下降和非显着下降来评估相应的遮挡鲁棒性。 我们报告了不同信息损失率下的 top-1 准确率下降情况，范围从 10% 到 90%。 RepLKNet 对于极端遮挡场景更加稳健，更重要的是，它们在显着遮挡方面的表现明显优于 ViT。

4 为什么大型内核卷积网络具有鲁棒性？

在本节中，我们从定量和定性的角度全面研究大型内核卷积网络的鲁棒性。 具体来说，我们系统地设计了九个独特的实验，对其遮挡不变性和内核注意力模式等关键特性进行全面深入的分析，为其强大的鲁棒性提供了多维度的见解。

4.1 遮挡不变性

遮挡不变性在科学和深度学习中很重要（Kosmann-Schwarzbach 等人，2011；Kong & Zhu，2023）。 它对人类视觉的鲁棒性起着至关重要的作用：例如，即使大部分物体不可见，我们也可以根据纹理或形状想象被遮挡的部分，在高遮挡率下保持一致的判断。 为此，我们深入研究了大型内核网络在某些或大部分图像内容丢失的各种场景下的遮挡不变性。

图5： 补丁掉落的插图。 我们描绘了不同遮挡类型的示例图像：随机、显着和非显着。 遮挡（黑色）区域中的像素值被指定为零。

遮挡建模。 形式上，我们以补丁方式定义遮挡：首先将输入图像 $\mathrm{X}\in {ℝ}^{\mathrm{H}\times \mathrm{W}\times \mathrm{C}}$ 划分为不重叠的扁平补丁 $𝐱=[{𝐱}_1,{𝐱}_2,\mathrm{\dots },{𝐱}_{\mathrm{N}}]$，其中 ${𝐱}_i\in {ℝ}^{{\mathrm{P}}^2\mathrm{C}}$ 根据补丁size $\mathrm{P}$,$\mathrm{N}=(\mathrm{H}\times \mathrm{W})/{\mathrm{P}}^2$ 是补丁的数量。 我们选择总图像块的子集，并将这些块的像素值设置为零以生成遮挡图像，表示为${𝐱}^{\prime }$。 我们将 ${𝐱}^{\prime }$ 输入到不同的模型中，并通过 ${𝐱}^{\prime }$ 上的 top-1 精度来测量它们的遮挡不变性。 我们使用三种遮挡类型进行实验：i）随机下降； ii) 显着（前景）下降； 3）非显着（背景）下降。 图5提供了说明。

随机掉落。 遵循 ViT (Dosovitskiy 等人, 2020)，我们将图像划分为 $16\times 16$ 个 patch，那么对于分辨率为 $224\times 224$ 的典型图像，将有 196 个 patch 。 这种设计在不改变ViT输入格式的情况下，与ViT进行了方便、公平的比较。 我们随机屏蔽图像的不同比例，范围从 10% 到 90%。 如图4(a)所示，当遮挡率达到50%时，典型的卷积网络会遭受灾难性的退化，而RepLKNet和ViT则表现出明显的优势。 此外，随着遮挡率变得极高，RepLKNet 逐渐优于 ViT，这表明大内核卷积网络对极端遮挡场景更加鲁棒。

(a) FGSM Attack.

(b) PGD Attack (step=5).

(c) PGD Attack ($\epsilon =0.006$).

图6： 不同对抗性攻击下的比较。 (a) 对于 FGSM 攻击，我们应用增加的扰动预算$\epsilon$。 (b) 对于 PGD 攻击，我们将攻击步骤固定为 5，同时改变扰动预算。 (c)对于PGD攻击，我们将$\epsilon$固定为0.006，然后逐渐增加攻击步长。 RepLKNet 始终超过 ViT 和 ResNet。

显着（前景）下降。 前景物体在视觉识别中起着决定性作用，因此研究针对前景遮挡的鲁棒性至关重要。 首先，我们使用预训练的 DINO (Caron 等人, 2021) 来检测物体并识别显着区域。 然后，我们屏蔽包含前 K% 前景信息的补丁子集。 需要注意的是，这个 K% 并不总是等于像素百分比。 例如，图像 70% 的前景数据可能仅包含在 20% 的像素中。 如图4(b)所示，RepLKNet对显着遮挡表现出显着的鲁棒性，甚至明显超过了ViT。 我们认为这是它在背景依赖数据集（即 ImageNet-9）上相对 ViT 具有巨大优势的关键原因。

非显着（背景）下降。 与上述显着设置相反，我们进一步选择包含最低 K% 的前景信息的补丁并屏蔽它们。 图4(c)显示RepLKNet对于非显着遮挡也具有优异的鲁棒性。

4.2 对抗性攻击的鲁棒性

先前的研究表明，即使是很小的对抗性扰动也可以极大地改变神经网络的决策边界（Ortiz-Jimenez 等人，2020），并且研究对抗性攻击对于增强模型的鲁棒性起着至关重要的作用 （Madry等人，2017a）。 因此，在本小节中，我们将进一步研究大型内核卷积网络对抗对抗性攻击的性能。

我们使用单步和多步样本特定攻击，快速梯度符号方法（FGSM）（Goodfellow等人，2014）和投影梯度攻击（PGD）（Madry等人， 2017b) 分别。 请注意，在本实验中，我们仅将 RepLKNet 与 ResNet 和 ViT 进行比较，并在此处省略 BiT，因为它继续表现出 ResNet 和 ViT 之间的性能，类似于前几节的观察结果。

我们用三种变体进行了这个实验。 i) 对于 FGSM 攻击，我们应用 $l_{\mathrm{\infty }}$ 增加预算 $\epsilon$ 的扰动，范围从 0.1 到 0.4。 如图6(a)所示，当预算增长到0.3时，ViT和ResNet被彻底摧毁，而RepLKNet仍然保持着35.7%的top-1准确率； ii)对于PGD攻击，我们首先将攻击步长固定为5，将扰动预算$\epsilon$从0.002更改为0.008。 图6(b)中的结果表明，当对抗性攻击较强时，RepLKNet 明显优于 ViT； iii)然后对于PGD攻击，我们将扰动预算$\epsilon$固定为0.006，并逐渐增加步长，观察图6(c)。 同样，RepLKNet 始终超过 ViT 和 ResNet。 请注意，对于所有实验，我们使用默认的 ImageNet 均值和标准差对像素值进行归一化。 上述三种设置的实验都得出了相同的结论：大型内核网络具有更广泛和更强的对抗鲁棒性，这可能解释为什么 RepLKNet 在自然对抗数据集（即 ImageNet-A）上表现更好。

表4： TAIG攻击下的比较。 我们将扰动预算 $ϵ$ 从 0.03 增加到 0.1。 报告攻击成功率，注意越低越好。

Model	$ϵ=0.03$	$ϵ=0.06$	$ϵ=0.1$
ResNet-50	47.7	65.2	67.9
BiT-r152$\times$4	44.6	60.2	63.1
ViT-B	62.3	73.3	75.6
ViT-L	54.9	67.9	69.8
RepLKNet-31B	39.2	56.1	59.3

除了经典的对抗性攻击 FGSM 和 PGD 之外，我们还进一步使用现代强对抗性攻击 TAIG 进行评估(Huang & Kong, 2022)。 具体来说，对于卷积网络（即ResNet、BiT、RepLKNet），选择ViT-B作为代理模型来生成对抗性示例，对于ViT，选择RepLKNet-31B作为代理模型。 我们将 $ϵ$ 从 0.03 增加到 0.1，以逐渐增加攻击预算。 我们报告攻击成功率（越低越好）。 如表4所示，大型内核网络的表现仍然优于典型的小型内核卷积网络和ViT，显示出其针对对抗性攻击的固有鲁棒性。

图7： 病变研究。 训练后从模型中删除 $n(n\geqq 1)$ 块时对 RepLKNet 和 ViT-B/L 的评估。 对于每个 n，结果来自 $n$ 块的 10 个独立样本，我们显示样本之间的平均精度（线）和最小/最大（阴影区域）。

4.3模型扰动的稳健性

之前的研究（Greff 等人，2016；Veit 等人，2016；Bhojanapalli 等人，2021）表明残差网络中的层表现出大量冗余，并且几乎任何单个层都可以训练后移除，不会影响表现。 另一方面，据观察，身份快捷方式至关重要，特别是对于具有非常大内核的网络（Ding等人，2022）。 为了理解大型内核卷积网络中的信息流，我们进行了一项损伤研究，在推理过程中从已经训练的网络中删除了几个块，以便信息必须流经跳跃连接。

具体来说，我们随机删除 $n(n\geqq 1)$ 块并报告 top-1 准确率的变化。 对于每个 $n$，结果来自 $n$ 块的 10 个独立样本，我们显示样本之间的平均精度（线）和最小/最大（阴影区域）。 鉴于ViT-B中的块数量仅为RepLKNet和ViT-L中的一半，我们使用丢弃块的比例作为图7中的x轴。 我们在这里省略 ResNet，因为它比 ViT-B 脆弱得多。

我们观察到 ViT-B 对层移除高度敏感，仅移除 $\frac{1}{3}$ 块后模型的精度接近于零。 相比之下，RepLKNet 和 ViT-L 在该下降率下仍然可以保持 $75\%$ 左右的精度。 此外，我们注意到，尽管容量较小，但在相同的块丢弃率下，RepLKNet 在准确性方面始终优于 ViT-L。 这表明大型内核网络对模型扰动更加鲁棒，这可以解释它们对常见扰动的鲁棒性（即 ImageNet-P）。

图8： 对噪声频率的鲁棒性。 我们测量了针对基于频率的随机噪声的准确性的降低。 ResNet 容易受到高频噪声的影响，而 ViT 更容易受到低频噪声的影响。 与此形成鲜明对比的是，RepLKNet 在所有频率上都保持一致的抗噪声鲁棒性。

表5： 内核大小的消融。 我们用 3x3 小内核替换 RepLKNet-31B 中的所有大内核卷积。 指标与3和4部分相同。 将内核大小从 31 减少到 3 会显着降低 RepLKNet 在各种指标上的稳健性。

Model	ImageNet-A	ImageNet-C	ImageNet-R	ImageNet-O	Salient-Drop-50%	Noise-$0.7\pi$
RepLKNet-31B	29.4 (+2.7)	49.2 (+7.0)	43.9 (+5.9)	78.9 (+10.9)	-25.1 (+19.3)	-5.0 (+1.6)
ViT-B	26.7 (– –)	42.2 (– –)	38.0 (– –)	68.0 (– –)	-44.4 (– –)	-6.6 (– –)
RepLKNet-3B	14.6 (-12.1)	39.1 (-3.1)	32.9 (-5.1)	51.6 (-16.4)	-61.8 (-17.4)	-10.6 (-4.0)

4.4对噪声频率的鲁棒性

为了加深对大核卷积网络强大鲁棒性的理解，我们进一步分析其在频域的鲁棒性。 特别是，我们使模型受到不同频率的随机噪声攻击并评估准确性下降。 我们将频率标准化为 $0.0\pi$（中心）和 $1.0\pi$（边界）之间。 我们对基于频率的噪声使用频率窗口大小 $0.1\pi$。

如图8所示，ResNet对高频噪声非常敏感，而ViT对低频噪声的表现较差。 这一现象与之前的研究（Park & Kim，2022）非常吻合。 相比之下，RepLKNet 在所有频段上始终表现出对噪声的鲁棒性。 例如，对于 $0.1\pi$ 到 $0.8\pi$ 频率范围内的噪声，RepLKNet 始终将精度损失保持在 6% 以内，始终优于 ResNet 和 ViT。

4.5 大内核是关键

由于 RepLKNet、BiT 和 ViT 具有相似的预训练策略，因此它们之间的主要区别在于大核卷积的使用。 因此，我们继续探讨内核大小对鲁棒性的影响。 具体来说，我们将 RepLKNet-31B 中的所有大内核卷积替换为 3x3 小内核卷积（与 BiT 和 ResNet 中使用的内核大小相同），同时保持相同的数据增强和训练计划。 我们训练修改后的模型 RepLKNet-3B，并评估其在多个上述任务中的稳健性。 如表5所示，将内核大小从 31 减少到 3 会显着降低 RepLKNet 在各种指标上的鲁棒性，导致性能低于 ViT-B。 这一发现凸显了大核卷积在增强模型鲁棒性方面的关键作用。

图9： 不同层的内核注意力距离。 我们计算RepLKNet在stage-1的前两层和stage-3的最后两层中排序的内核注意力距离。 它还倾向于在浅层聚合局部和全局信息，同时更多地关注更深层次的全局信息。

4.6 本地和全局内核注意力

然后我们深入研究内核注意力模式来探索大内核的属性。 在自注意力机制的推动下，ViT 可以通过所有 Token 之间的全局交互来聚合全局信息。 然而，全局注意力并不总是最佳的。 Raghu 等人 (Raghu 等人, 2021) 揭示了强大的 ViT 会同时考虑浅层的局部信息和全局信息，主要关注更深层次的全局信息。 这与典型的 CNN （Simonyan & Zisserman，2014；He 等人，2016）形成对比，后者被硬编码为仅在所有层中进行本地参与。 由于大核卷积网络具有与 ViT 相当的大感受野(Ding 等人, 2022; Liu 等人, 2022a)，我们推测它们可能表现出与 ViT 类似的注意力模式，同时关注局部和全局浅层信息主要是全局信息，而深层信息主要是全局信息。

为了验证，我们计算了 RepLKNet 中不同层的平均内核注意力距离。 具体来说，对于每个核，我们测量每个核位置到核中心的欧氏距离，我们用相应参数的绝对值对这个距离进行加权，然后对所有参数的总和进行归一化以获得这个核的注意力距离。 由于每个内核都有多个通道，因此我们按内核注意距离对它们进行排序。

我们在图9中描绘了stage1的前两层和stage3的最后两层的内核注意距离，由于它们具有不同的通道尺寸，因此我们对通道索引进行归一化以便更好的比较。 有趣的是，RepLKNet 还倾向于在浅层聚合局部和全局信息，同时更多地关注更深层的全局信息。 这本质上表明，同时聚合局部和全局信息可以更有效地捕获图像中不同级别的信息，从而产生更强大和鲁棒的性能。

图10： 特征图方差变化曲线。 我们测量给定相同输入的归一化特征图方差。 与ResNet和ViT相比，RepLKNet在最早期的层中具有更低的特征图方差，并且整体曲线变化更简单、更稳定。

4.7 稳定的特征图方差

此外，我们研究了大型内核网络特征图的稳定性。 具体来说，我们将一批 ImageNet 验证图像输入到不同的网络中，批量大小设置为 64，并且我们使用常规验证增强（仅中心裁剪和归一化）。 然后我们逐层计算归一化特征图方差。

表6： 大型内核卷积网络的更多结果。 我们添加 ConvNeXt 作为另一个大型内核卷积网络，并将模型大小放大到很大以演示缩放特性。 *注意ImageNet-C的图像大小仅为$224\times 224$。

Model	Kernel Size	ImageNet	ImageNet-A	ImageNet-R	ImageNet-C*
BiT-r152$\times$4	$3\times 3$	85.4	13.2	33.8	39.9
ViT-B	N/A	84.0	26.7	38.0	42.2
ViT-L	N/A	85.2	28.1	40.6	49.9
ConvNeXt-B	$7\times 7$	85.8	33.9	45.5	53.2
ConvNeXt-L	$7\times 7$	86.6	38.7	47.6	56.5
RepLKNet-31B	$31\times 31$	85.2	29.4	43.9	49.2
RepLKNet-31L	$31\times 31$	86.6	39.6	49.1	52.6

如图10所示，RepLKNet与其他两个网络有两个不同的地方：i)它在早期阶段非常稳定。 例如，当归一化深度小于0.4时，RepLKNet特征图的方差保持在很低的水平，而ViT和ResNet从一开始就往往有很大的方差； ii) 方差以简单且连贯的方式变化。 RepLKNet升降缓慢，整个过程变化简单稳定，而ResNet和ViT则波动剧烈。

4.8更多大型内核ConvNets的结果

为了进一步验证大核卷积对鲁棒性及其缩放特性的影响，我们添加了另一个现代强大核卷积网络ConvNeXt (Liu 等人, 2022b)，并增加了RepLKNet的模型大小和 ConvNeXt 从基础到大进行比较。 如表6所示，ConvNeXt还表现出很强的鲁棒性，并且当模型尺寸增大时其鲁棒性进一步提高。 对于RepLKNet-31L，我们使用官方发布的$384\times 384$预训练模型，它在ImageNet、ImageNet-A和ImageNet-R上实现了一致的改进。对于ImageNet-C，该数据集的图像都是$224\times 224$，在此数据集上评估$384\times 384$模型将导致输入分布不一致，因此对该数据集的改进不太显着。

4.9多大可以使鲁棒性强？

虽然 ConvNeXt 和 RepLKNet 具有不同的大内核大小（即 $7\times 7$ 与 $31\times 31$)，它们都表现出很强的鲁棒性。 人们很自然地会问： 多大的内核才能使鲁棒性强？ 为了回答这个问题，我们通过逐渐增加内核大小来进行消融研究。

具体来说，我们在 ImageNet-1K 上以 120 epoch 的时间表训练具有不同内核大小的 ConvNext-Tiny（由于计算限制，我们无法在 ImageNet-21K 上进行这种消融）。 唯一的区别是内核大小。 如表7所示，有三个观察结果：i)扩大内核可以在ImageNet和鲁棒性基准上带来一致的改进； ii) 基本上，扩大到 $13\times 13$ 可以带来良好的鲁棒性，但是继续扩大内核大小到 $51\times 51$ 可以带来进一步的鲁棒性； iii) 虽然放大到极大不能给 ImageNet 带来显着的改进，但它可以在鲁棒性上带来更好的改进。

表7： 内核大小对鲁棒性的影响。 我们逐渐将 ConvNeXt-T 的内核大小从 3 增加到 51。 扩大内核大小可以持续提高鲁棒性。 请注意，ImgN 是 ImageNet 的缩写。

Model	Kernel	ImgN	ImgN-A	ImgN-R
ConvNeXt-3	$3\times 3$	79.4	5.20	28.87
ConvNeXt-7	$7\times 7$	80.7	7.76	29.86
ConvNeXt-13	$13\times 13$	81.3	9.89	30.97
ConvNeXt-31	$31\times 31$	81.4	10.20	31.34
ConvNeXt-51	$51\times 51$	81.6	10.71	31.77

5限制

尽管我们从多个定量和定性的角度对大核卷积网络的强鲁棒性进行了全面而深入的实证分析，但考虑到深度学习的黑盒性质，我们很难提供直接的理论证明。 另一个限制是由于计算限制，我们在 ImageNet-1K 上进行内核大小消融，但不在 ImageNet-21K 上进行。

6结论

在这项研究中，我们深入研究了大型内核卷积网络的鲁棒性，在六个广泛使用的鲁棒性基准数据集上验证了其强大的鲁棒性。 然后，我们从定量和定性的角度全面分析其异常稳健的来源。 我们的研究和分析为鲁棒性的来源提供了新颖的见解，有可能促进大型内核卷积网络未来的应用和发展。

致谢

该工作得到了国家重点研发计划（批准号：2022ZD0116403）、国家自然科学基金（批准号：2022ZD0116403）的部分支持。 61721004）和中国科学院战略性先导研究计划（批准号：61721004） XDA27000000）。

影响报告

本文介绍的工作旨在推动机器学习领域的发展。 我们的工作有许多潜在的社会后果，我们认为没有必要在此特别强调。

附录A稳健性数据集详细信息

ImageNet-A (Hendrycks 等人, 2021b) 是真实世界的对抗性过滤图像的数据集，可以欺骗当前的 ImageNet 分类器。 具体来说，它包含 ImageNet-1K 1000 个类的 200 个类子集，涵盖了最广泛的类别。 这些本应正确分类的图像，却被 ResNet-50 以高置信度错误分类为不正确的类别。 由于场景配置的长尾中遇到的场景复杂性以及利用分类器盲点，它们会在各种模型中导致一致的分类错误。

ImageNet-C （Hendrycks & Dietterich，2019） 包含 15 类算法生成的损坏和另外四种一般损坏类型，总共有 19 种损坏类别。 每种腐败类型都有五个严重级别，从可忽略到极严重。 该范围允许基准对每种腐败类型进行全面评估。 这些损坏全部应用于 ImageNet 验证图像，因此 ImageNet-C 的总数据量为 $19\times 5\times 50\mathrm{k}=4750\mathrm{k}$ 图像。

ImageNet-O (Hendrycks 等人, 2021b) 是 ImageNet 分布外检测器的对抗性过滤示例的数据集。 它包含 ImageNet-22K 中未包含在 ImageNet-1K 中的 200 个类别。 它包含不可预见类别的异常，对于这些异常，稳健的模型预计会输出低置信度的预测。

ImageNet-P （Hendrycks & Dietterich，2019） 由 10 种常见扰动组成。 ImageNet-P 与 ImageNet-C 的不同之处在于它从每个 ImageNet 验证图像生成扰动序列。 这些扰动是微妙的，影响图像中较少数量的像素。 为了抵消每个包含超过 30 帧的序列导致的数据集大小和评估时间的增加，它仅包含 10 个常见扰动。

ImageNet-R (Hendrycks 等人, 2021a) 包含 ImageNet-1K 数据集中 200 个类别的各种艺术表现形式。 与最初的 ImageNet 不鼓励此类图像，因为注释者被指示收集“仅照片，没有绘画，没有图画等”相反，ImageNet-R 采用了相反的方法。 旨在验证不同领域下语义变化下视觉网络的鲁棒性。

ImageNet-9 (Xiao 等人, 2020) 有助于理清前景和背景信号对分类的影响。 人类视觉对背景变化表现出高度的鲁棒性，只要前景保持不变，就能保持一致的决策。 然而，对于大多数视觉模型来说，背景的改变会显着影响模型的输出和准确性。 因此，我们进一步深入研究对背景变化的稳健性。

表8： 关于其目标和相应场所的鲁棒性基准数据集的研究摘要。

Dataset	Objective	Venue
ImageNet-A	natural adversarial	CVPR${}_{}{}^{\prime }21$
ImageNet-C	common corruptions	ICLR${}_{}{}^{\prime }19$
ImageNet-O	out-of-domain distribution	CVPR${}_{}{}^{\prime }21$
ImageNet-P	common perturbations	ICLR${}_{}{}^{\prime }19$
ImageNet-R	semantic shifts	ICCV${}_{}{}^{\prime }21$
ImageNet-9	background dependency	ICLR${}_{}{}^{\prime }21$