Real3D-AD：点云异常检测数据集

Jiaqi Liu^1,, Guoyang Xie^1,2,∗, Ruitao Chen^1,∗, Xinpeng Li¹, Jinbao Wang^1,†, Yong Liu³,
Chengjie Wang^3,4, Feng Zheng^1,†
¹Department of Computer Science and Engineering,
Southern University of Science and Technology, Shenzhen 518055, China
²NICE Group, University of Surrey, Guildford, GU2 7YX, United Kingdom
³Tencent Youtu Lab, Shenzhen 518057, China
⁴Shanghai Jiao Tong University, Shanghai 200240, China
liujq32021@mail.sustech.edu.cn, guoyang.xie@ieee.org
linkingring@163.com, chenrt2022@mail.sustech.edu.cn
li.xin.peng@outlook.com, chaosliu@tencent.com
jasoncjwang@tencent.com, zfeng02@gmail.com Contributed Equally, ^†Corresponding Authors.

摘要

高精度点云异常检测是识别先进加工和精密制造缺陷的黄金标准。尽管该领域在方法上取得了一些进展，但数据集的稀缺和缺乏系统的基准阻碍了其发展。我们引入了 Real3D-AD，这是一个具有挑战性的高精度点云异常检测数据集，解决了该领域的局限性。 Real3D-AD 拥有 1,254 个高分辨率 3D 项目（每个项目有四万到数百万个点），是迄今为止最大的高精度 3D 工业异常检测数据集。 Real3D-AD 在点云分辨率（0.0010mm-0.0015mm）、360 度覆盖范围和完美原型方面超越了现有的 3D 异常检测数据集。此外，我们还提出了 Real3D-AD 的综合基准，揭示了高精度点云异常检测的基线方法的缺乏。为了解决这个问题，我们提出了 Reg3D-AD，一种基于配准的 3D 异常检测方法，结合了保留本地和全局表示的新颖特征存储库。 Real3D-AD 数据集上的大量实验凸显了 Reg3D-AD 的有效性。为了实现可重复性和可访问性，我们在我们的网站上提供了 Real3D-AD 数据集、基准源代码和 Reg3D-AD：https://github.com/M-3LAB/Real3D-AD。

Refer to caption — 图1：每个类别的 Real3D-AD 数据集示例。蓝色框表示训练数据集中的正常图像。红框表示测试数据集中的异常图像。 Real3D-AD 中不存在盲点，因为我们的数据集是通过扫描对象的所有视图而不是 RGBD 相机拍摄的单个视图来实现的。

1简介

真正的 3D-AD 动机：3D > 2.5D。迫切需要提出一个高分辨率的点云异常检测数据集，以弥补学术界和工业界之间的差距，从而将点云异常检测的能力带入工厂车间。点云异常检测广泛应用于现实生产线中。然而，该院发布的3D异常检测数据集是RGBD（2.5D），超出了工业制造的需求。先进的加工和精密制造要求整个检测过程没有盲点。然而，由于 RGBD 数据集是通过单视图扫描获得的，因此存在盲点。缺乏真实的点云异常检测数据集阻碍了3D异常检测的进一步发展。因此，提出满足工业制造需求的点云异常检测数据集至关重要且紧迫。

当前 3D-AD 数据集的限制和 Real3D-AD 的优势。为了解决这个问题，我们提出了一个大规模、高分辨率的3D异常检测数据集Real3D-AD，以支持3D异常检测方法的研究和开发。尽管已经提出了两个 3D 异常检测数据集（MVTec 3D-AD [20] 和 Eyescandies [3])，但仍然存在一些局限性：1）MVTec 的精度3D-AD不足以满足高精度点云异常检测的要求。具体来说，MVTec 3D-AD 为每个对象提供有限数量的 4,147 个点云，点精度为 0.11 毫米。 Real3D-AD 为每个对象提供的点云数量要多得多，估计为 130 万个，而 MVTec 3D-AD 则要多出大约 100 倍。此外，Real3D-AD的点精度高达0.010mm，比MVTec 3D-AD先进十倍。具体分析如表3.1所示。 2）如果采用RGBD相机采集3D数据，则存在3D异常检测数据集的盲点，例如MVTec 3D和Eyescandies。仅依靠单一视图进行检查时，识别缺陷可能会带来挑战。 Real3D-AD 使用高分辨率激光扫描收集，非常适合发现产品各处的缺陷，如图 1 所示。 3）模拟数据集（Eyescandies）使得很难扩展现实场景。由于真实产品的商业隐私，收集真实产品的CAD模型很困难。因此大多数研究者采用模拟软件，如Blender框架[9]。然而，合成纹理和异常细节都无法以高保真度实现。 Real3D-AD从现实世界的应用中收集产品，并通过高分辨率3D扫描仪获得优秀的原型。因此，如表3所示，我们可以得出结论，相对于之前的3D异常检测数据集工作，Real3D-AD具有三个关键特征：高精度、无盲点和逼真的高精度原型。

基准和基线。为了加快开发通用的高精度点云异常检测方法的研究工作，我们构建了一个全面的、结构化的大规模基准，称为ADBench-3D。此外，我们还开发了一种基于配准的基线方法，该方法符合高分辨率 3D 异常检测的先决条件。考虑到实际限制，每个类别可用的训练数据集的数量受到限制（小于或等于四个），因为为每个类别创建高精度原型是一个耗时的过程（每个类别最多需要两天）。 ADBench-3D 的配置与 3D 领域当代无监督异常检测任务不同。 4.1 节提供了该设置的全面描述。更具体地说，训练示例有限( $\leq$ 4），并且测试样本仅从一侧扫描。其动机是模拟现实世界的应用：生产线上的扫描位置是固定的，一个位置只能扫描一个产品面的结果。此外，为了促进社区内精确的性能比较并保证可复制性，ADBench-3D框架包含一个全面的端到端管道，其中包括数据预处理、3D-AD算法、评估脚本、指标、和可视化工具包。 ADBench-3D 包含一组 8 种基本 3D 异常检测方法，这些方法已在 Real3D-AD 数据集上实施和测试。此外，表4中的结果表明，当前大多数3D-AD技术都无法在Real3D-AD中获得令人满意的性能，其对象级AUROC分数低于50％就证明了这一点。因此，我们提出了一种基于配准的 3D-AD 方法 (Reg3D-AD)，作为满足 Real3D-AD 数据集要求的通用解决方案。 Rege3D-AD 模型引入了一种新颖的特征存储体，如图8所示，旨在保留局部和全局特征。在推理过程中，测试对象与训练原型对齐，并在本地和全局提取其特征。通过评估测试对象特征与原型之间的距离来识别缺陷。因此，Real3D-AD 和 ADBench-3D 为统一 3D 异常检测研究中不相关的工作迈出了一步，并为更深入地理解 3D 异常检测模型铺平了道路。

总的来说，本文的主要贡献是：

•

我们创建了第一个高分辨率 3D 异常检测数据集 (Real3D-AD)，从而能够设计高分辨率 3D 异常检测算法并将其应用于公开可用。 Real3D-AD 表现出三个主要属性，使其与之前 3D 异常检测数据集的研究区分开来。这些属性包括高精度、无盲点以及逼真的高精度原型。
•

ADBench-3D 提供的端到端管道包括数据准备、数据分割、评估指标和脚本以及可视化工具包。 ADBench-3D进行大规模系统评估（Real3D-AD上的8个主要算法）。
•

我们提出了一种通用的基于配准的 3D 异常检测方法 (Reg3D-AD)。 Reg3D-AD 的功效已通过 Real3D-AD 数据集上的综合实验得到证明，在很大程度上超越了随后最有效方法的性能。

2相关工作

3D-AD 数据集。二维异常检测（2D-AD）的数据集非常丰富，历史可以追溯到2007年[29]。 2D-AD 有 20 多个不同的数据集[11,25,17,31]。大量的 2D-AD 数据集催生了许多相关工作。一些研究从图像重建[35, 8]、特征蒸馏[12,4,27]和特征比较[22]的角度来接近它。大量研究还侧重于特定场景，例如少样本异常检测[30,36,7]和噪声异常检测[16]。相比之下，3D 异常检测 (3D-AD) 的数据集数量相当有限。第一个 3D-AD 数据集于 2021 年推出，如今只有两个 3D-AD 数据集：MVTec 3D-AD 数据集 [20] 和 Eyecandies 数据集 [3]。 MVTec 3D-AD [20]是专为3D点云异常检测而设计的新数据集，也是AD唯一的点云数据集。它包含2,656对图像作为训练集，294对图像作为验证集，249对正常图像和948对异常图像组成测试集。该数据集总共包含 41 种不同类型的异常，总共有 1148 个异常区域。每对图像由代表每个像素的空间坐标的 RGB 图像和 tiff 图像组成。图像的分辨率从 400 $\times$ 400 到 900 $\times$ 900 不等。 Eyecandies 数据集 [3] 是一个新颖的合成数据集，包含在受控环境中渲染的十种不同类别的糖果。它由13,250对正常样本和2,250对异常样本组成。每张深度图像对应不同光照条件下的六幅RGB图像。 MVTec 3D-AD 和 Eyecandies 都是 RGBD 数据集，仅限于单视图信息。为了进一步探索空间信息在 AD 任务中的价值，我们提出了 Real 3D-AD 数据集，它将对象信息扩展到 3D 空间。 Real 3D-AD 训练集中的原型包含来自各种视图的全面对象信息。该测试集还包括对象的多视图信息，允许更广泛地探索 3D 信息在 AD 任务中的价值。

3D-AD 方法。近年来，2D-AD领域涌现出许多高质量论文[33,37,32,26]。 MVTec 3D-AD 的发布也引发了人们对 3D-AD 异常检测方法的兴趣[15,23,5,28,8]。然而，与 2D 异常检测相比，3D 异常检测仍需要进行更多研究。一些方法仅使用深度信息来去除背景噪声，这限制了深度信息的使用。与此同时，在不影响性能的情况下结合 RGB 和深度信息仍然是一个挑战。 Bergmann 等人 [1]提出了一种基于师生模型的点云特征提取网络。在训练过程中，学生和教师网络保持一致的特征，并利用提取特征的差异来定位测试过程中的异常情况。 Horwitz 等人 [15] 将手工制作的 3D 描述符与经典的 AD 方法 KNN 框架相结合。虽然这两种方法都很有效，但它们的性能都很差。 AST [23] 在 MVTec 3D-AD 中表现良好，但仅使用深度信息来去除背景。 AST仍然使用2D-AD方法来检测异常，忽略了物体的深度信息。 M3DM [28]分别从点云和RGB图像中提取特征并将它们融合以做出更好的决策。这种方法优于 BTF，但严重依赖于预先训练的大型模型和内存库。 CPMF [6] 也使用 KNN 范式。然而，它将点云从不同角度投影成二维图像，显着降低了特征提取的复杂性和计算成本，并融合了检测结果的信息。总之，现有的 3D-AD 模型要么性能不佳，要么严重依赖预训练的模型和内存库。目前，缺乏利用点云信息的异常检测方法，该领域可供研究的数据集仅有具有深度信息的MVTec 3D-AD和人工合成的Eyescandies[3]数据集。为了引起对该领域的关注和研究，我们引入了 Real3D-AD 数据集。

3 Real3D-AD数据集

3.1数据收集

我们概述了生成 Real3D-AD 数据集的流程，包括高分辨率扫描仪的描述、原型的构建、异常的生成以及该过程所需的劳动力和时间的评估。

Refer to caption

Figure 2: PMAX-S130.

Table 1: Comparison of data collection equipment.

Scanner	PMAX-S130	Zivid One-Plus¹¹1https://www.zivid.com
Dataset	Real3D-AD (Ours)	MVTec 3D-AD [1]
FOV	100cm to 400cm	60cm to 200cm
Point Precision	0.011mm-0.015mm	0.11mm
Spatial Distance	0.04mm-0.07mm	0.37mm
3D Format	ASC, PLY, STL, OBJ, IGES	TIFF

高分辨率和高精度3D扫描仪的描述。为了获得精确的 3D 异常检测数据，我们使用了名为 PMAX-S130 的高分辨率双目 3D 扫描仪，如图 3.1 所示。 PMAX-S130 光学系统由一对低畸变透镜、一个高亮度 LED 和一个蓝光滤光片组成。蓝光扫描仪具有镜头滤光器，可以选择性地仅允许特定波长的蓝光通过。由于蓝光在自然光和人造光中的浓度相对较低，该滤光片可有效屏蔽大部分蓝光。然而，使用蓝色发光光源可能会在这方面造成独特的障碍。图像传感器可以使用镜头光圈收集光。因此，环境光的影响大大减少。该设备能够在车间环境中经常遇到的复杂照明环境下执行扫描操作。上述目的是通过采用高亮度LED冷光源来实现的。这种方法可以延长设备的使用寿命并减少热量排放，同时确保一致的扫描精度。此外，通过集成畸变最小的镜头，提高了设备扫描的精度。表 3.1 中提供的数据表明，PMAX-S130 的性能优于 Zivid 相机（由 MVTec 3D-AD 使用），特别是在点精度方面。 Real3D-AD 的点精度和每云空间距离比 MVTec 3D-AD 更高，分别为 10 倍和 4.28 倍。因此，Real3D-AD 提供了增强高精度点云异常检测理解的途径。

原型建设。原型构建流程如图3所示。最初，静止物体进行扫描，而转盘完成 360° 完整旋转，使扫描仪能够捕获物体各个方面的图像。随后，物体发生反转，并重复旋转和扫描的过程。在手动校准正面和背面扫描结果后，算法精确校准拼接过程。如果结果存在任何间隙，则会重复扫描拼接过程，直到渲染点云。

异常类型和标签。与点云有关的异常可以分为两类：不完整性和冗余。 CloudCompare (2016) [10] 用于注释点云数据。标记的过程如图4所示。第一步涉及将 pcd 文件导入 CloudCompare 软件并修改角度视图和点云文件大小。然后，将异常区域和非异常区域分开，并为每个点云分配相应的标签。最终结果以文本文件形式呈现。

费工又费时。收集和标记 Real3D-AD 数据集的过程对劳动力有很大的要求。每个原型构建需要 1.2 天的时间才能由三人团队完成。最初的个人承担进行扫描的任务，而后续的个人则将注意力集中在手动校准上。第三个人主要负责任务的标记方面。为了产生异常，需要由四人组成的团队来完成任务。最初的个体将注意力集中在点云异常的不足上，而后续的个体则对点云异常的多余承担责任。第二个人主要关注标记异常的过程。每个非典型标本需要 5 小时才能完成。 Real3D-AD 需要一个由七人组成的团队，由于工作量很大，需要四个月的时间才能完成。

3.2数据统计

Real3D-AD数据集的统计信息如表2所示。该表由数据集类别、训练原型数量、测试数据集中正常和异常样本的数量、测试中异常点的平均比例组成。 Real3D-AD 总共包含 1,254 个样本，分布在 12 个不同的类别中。特定类别的每个训练集仅包含四个样本，类似于 2D 异常检测中的少样本场景。这些类别包括但不限于飞机、糖果、鸡肉、钻石、鸭子、鱼、宝石、海马、贝壳、海星和太妃糖。所有这些类别都是来自生产线的玩具。表2中的数据表明，低异常点比率对异常检测提出了挑战。该类别中的大多数属性都与透明度有关，这表明 Real3D-AD 数据集非常适合涉及点云异常检测的任务。

表2： Real3D-AD 的统计数据。注意，

\Delta

指的是异常样本中异常点的比例。

Category	Real Size [mm]			Attribute	Training	Test		Total	Anomaly Point Ratio
Category	Length	Width	Height	Attribute	Normal	Normal	Abnormal	Total	$\Delta$
Airplane	34.0	14.2	31.7	Transparency	4	50	50	104	1.18%
Car	35.0	29.0	12.5	Transparency	4	50	50	104	1.99%
Candybar	33.0	20.0	8.0	Transparency	4	50	50	104	2.37%
Chicken	25.0	14.0	20.0	White	4	52	54	110	4.39%
Diamond	29.0	29.0	18.7	Transparency	4	50	50	104	5.41%
Duck	30.0	22.2	29.4	Transparency	4	50	50	104	2.00%
Fish	37.7	24.0	4.0	Transparency	4	50	50	104	2.86%
Gemstone	22.5	18.8	17.0	Transparency	4	50	50	104	2.06%
Seahorse	38.0	11.2	3.5	Transparency	4	50	50	104	4.57%
Shell	21.7	22.0	7.7	Transparency	4	52	48	104	2.25%
Starfish	27.4	27.4	4.8	Transparency	4	50	50	104	4.47%
Toffees	38.0	12.0	10.0	Transparency	4	50	50	104	2.46%
Mean	30.9	20.3	13.9	—	4	50	50	104	3.00%
Total	—	—	—	—	48	604	602	1254	—

此外，盒须图表示 Real3D-AD 数据集中所有样本的数据点分布，如图 6 所示。从图6中可以得出两个推论。观察到的点云内不同项目类别之间点计数变异性的差异表现出显着的差异。具体来说，训练样本提供了 3D 对象的完整原型，而测试样本仅在一侧进行扫描。因此，训练样本的数量远大于测试样本的数量。其次，可以观察到每个测试集中正常样本和异常样本之间的点值差异相对较小。

3.3 Real3D-AD等数据集

表 3 中的结果表明，与 MVTec 3D-AD [20] 和 Eyescandies [3] 相比，Real3D-AD 表现出卓越的性能，特别是在点分辨率、点精度、无盲点和数据集真实性方面。 Real3D-AD 的点分辨率和精度分别为 0.04 毫米和 0.011 毫米。这明显高于 MVTec 3D-AD，点分辨率和精度分别为 4.28 倍和 9 倍。此外，Real3D-AD 系统受益于多视图扫描，消除了任何潜在的盲点，从而提高了其异常检测能力。因此，Real3D-AD被认为更适合实现高精度的点云异常检测，并且可以满足工业制造的要求。

表3：主要数据集的比较结果。

Dataset	MVTec 3D-AD	Eyescandies	Real 3D-AD (Ours)
Point Resolution	0.37mm	Not applicable	0.04mm
Point Precision	0.11mm	Not applicable	0.011mm
All Views (No Blind Spot)	✗	✗	✓
Real/Synthesis	Real	Synthesis	Real

4 基准和基线

4.1 问题定义和挑战

问题定义。 ADBench-3D设置可以正式表述如下。给定一组训练示例 $\mathcal{T}=\left\{t_{i}\right\}_{i=1}^{N}$ ，其中 $\left\{t_{1},t_{2},\cdots,t_{N}\right\}$ 是原型。在 Real3D-AD 中，每个类别的原型数量是有限的( $\leq$ 4）。另外， $\mathcal{T}_{n}$ 属于某个类别 $c_{j}\in\mathcal{C}$ ，其中 $\mathcal{C}$ 表示所有类别的集合。在测试期间，给定目标类别 $c_{j}$ 中的正常或异常样本，AD模型应预测测试3D对象是否异常，并在预测结果异常时定位异常区域。

训练和测试样本可视化。图7展示了训练原型和测试数据集。蓝色框中标记为 (a)-(d) 的图像代表原型。训练原型经过 $\textbf{360}^{\circ}$ 扫描，确保不存在可见度有限的区域。橙色框 (e)-(h) 中的图像代表测试样本。为了模拟真实条件，仅扫描测试样本的一侧。由于我们希望遵循实际应用：生产线上的工人或质检设备随机检查产品的一侧，通过将扫描数据与原型进行匹配来识别缺陷。

挑战。以下是三个挑战。 (1) 每个类别的训练数据集仅包含普通原型，即没有对象或点级注释。 (2)可用的训练集的正常原型很少。设定中的训练原型少于四个 ADBench-3D. (3)测试集和训练集样本之间存在不可避免的差异，需要解决。

4.2ADBench-3D

指标。我们使用专为 3D 异常检测设计的指标来标准化评估，包括接收器操作特征曲线下的面积 (AUROC) 和精确率-召回率曲线下的面积 (AUPR/AP)。补充材料中介绍了指标的详细信息。

方法。正如2节所讨论的，3D异常检测方法主要关注RGBD异常检测，而不是点异常检测任务。因此我们采用 BTF [15] 和 M3DM [28] 作为我们的基准方法。我们为我们提出的 Real3D-AD 数据集构建了一个系统基准 ADBench-3D，如表 4 所示。在表4中，BTF(Raw)是指我们只是将坐标特征（xyz）采用到BTF管道中。 BTF(FPFH) 表示我们将快速点特征直方图 (FPFH) [24] 合并到 BTF 管道中。 M3DM(PointMAE)表示使用PointMAE [19]作为点云特征提取器并忽略RGB分支的M3DM。 M3DM(PointBERT)表示M3DM使用PointBert[34]作为点云特征提取器并忽略RGB分支。 PatchCore+FPFH 表示我们将 ResNet [14] 替换为 FPFH 特征提取器，并将其合并到 PathCore [21] 中。 PatchCore+FPFH+Raw 表示我们使用 FPFH 和每个点云特征的坐标并将它们注入到 PatchCore 管道中。 PatchCore+PointMAE表示我们采用PointMAE特征提取器并将特征合并到PatchCore架构中。

工具包。为了补充ADBench-3D，我们发布了一个全面的工具包作为高精度点云异常检测的入门代码，它在（1）数据预处理，（2）评估脚本和指标中实现了8个核心方法，以及（3）可视化工具包。由于页面长度限制，工具包详细信息放在 Github Repo 中。

表 4： ADBench-3D 用于 Real3D-AD。分数表示对象级别 AUROC

\uparrow

。最佳结果以粗体突出显示。

Category	BTF		M3DM		PatchCore			Reg3D-AD
Category	Raw	FPFH	PointMAE	PointBERT	FPFH	FPFH+Raw	PointMAE	Reg3D-AD
Airplane	0.730	0.520	0.434	0.407	0.882	0.848	0.726	0.716
Car	0.647	0.560	0.541	0.506	0.590	0.777	0.498	0.697
Candybar	0.539	0.630	0.552	0.562	0.541	0.570	0.663	0.685
Chicken	0.789	0.432	0.683	0.673	0.837	0.853	0.827	0.852
Diamond	0.707	0.545	0.602	0.627	0.574	0.784	0.783	0.900
Duck	0.691	0.784	0.433	0.466	0.546	0.628	0.489	0.584
Fish	0.602	0.549	0.540	0.556	0.675	0.837	0.630	0.915
Gemstone	0.686	0.648	0.644	0.617	0.370	0.359	0.374	0.417
Seahorse	0.596	0.779	0.495	0.494	0.505	0.767	0.539	0.762
Shell	0.396	0.754	0.694	0.577	0.589	0.663	0.501	0.583
Starfish	0.530	0.575	0.551	0.528	0.441	0.471	0.519	0.506
Toffees	0.703	0.462	0.450	0.442	0.565	0.626	0.585	0.827
Average	0.635	0.603	0.552	0.538	0.593	0.682	0.594	0.704

4.3Reg3D-AD

受PatchCore[22]的启发，我们开发了一种通用的基于配准的点云异常检测方法（Reg3D-AD），如图8所示，极大地满足了Real3D-AD 的要求。 Reg3D-AD 利用双特征表示方法来保留训练原型的局部和全局特征。所考虑的数据集中存在两个不同的特征。第一个特征与每个点云的坐标值有关，即 x、y 和 z 值。第二个特征是 PointMAE 特征，它完整地描述了训练原型的特征。坐标值封装了单个点训练的定位属性，而 PointMAE 模型优先考虑获得原型的全面表示。训练阶段的目的是建立一个邻里敏感特征的存储库，该特征源自所有常规原型，旨在充当记忆库。在将新颖的功能合并到内存存储库之前，我们实施了 Coreset 采样技术来保留内存组的大小。

异常分数计算。在计算异常分数之前，需要通过RANSAC算法[2]注册测试3D对象。配准完成后，如果至少有一个点云异常，则将测试 3D 对象预测为异常，并通过点级特征和全局特征的平均得分计算点级异常分割。特别是，使用局部特征库 $\mathcal{M}^{l}$ 和全局特征库 $\mathcal{M}^{g}$ ，测试对象 $x^{test}$ 的对象级异常得分 $s$ 由局部特征异常得分 $s^{l}$ 和全局特征异常得分 $s^{g}$ 的平均值计算。局部特征异常得分是测试 3D 物体的点级特征 $\mathcal{P}(x^{test})$ 与 $\mathcal{M}^{l}$ 中各自的最近邻近特征 $m^{l*}$ 之间的最大得分 $s^{l*}$ ：

m^{test,*}=\underset{m^{test}\in\mathcal{P}(x^{test})}{\operatorname*{arg\,max}}\underset{m^{l}\in\mathcal{M}^{l}}{\min}\left\|m^{test}-m^{l}\right\|_{2},\quad m^{l*}=\underset{m^{l}\in\mathcal{M}^{l}}{\operatorname*{arg\,min}}\left\|m^{test}-m^{l}\right\|_{2},

(1)

\quad s^{l*}=\left\|m^{test,*}-m^{l*}\right\|_{2}.

(2)

为了增强异常检测模型的鲁棒性，PatchCore采用了一种重要的重新加权方法[18]来调整异常分数：

s^{l}=\left(1-\frac{\mathrm{exp}\left\|m^{test,*}-m^{*}\right\|_{2}}{\sum_{m\in\mathcal{N}_{b}(m^{*})}\mathrm{exp}\left\|m^{test,*}-m\right\|_{2}}\right)\cdot s^{l*},

(3)

其中 $\mathcal{N}_{b}(m^{*})$ 表示 $b$ 中用于测试补丁功能 $m^{*}$ 的 $\mathcal{M}$ 中最近的补丁功能。全局特征异常分数 $s^{g}$ 的计算与 $s^{l}$ 类似，是通过全局特征存储库 $M^{g}$ 实现的。最后是每个点云 $s^{t}=(s^{l}+s^{g})/2$ 的总异常得分。

ADBench-3D 分析。表4中的结果表明，大多数3D异常检测算法不满足Real3D-AD的要求。重新审视 4.1 节中概述的设置后，该设置与少样本异常检测的设置之间似乎存在显着相似之处。这是因为每个类别的训练数据集仅由 4 个原型组成。大多数当代最先进的 3D 异常检测算法并不是专门为涉及少样本场景中的异常检测的任务而设计的。为了应对这一挑战，必须优化原型数据的利用并保证获取的点云数据不受空间相对位置的影响。从表 4 可以清楚地表明，我们的基线方法 Reg3D-AD 优于 Real3D-AD 数据集的最先进的 3D 异常检测方法。

5 局限性 $\&$ 潜在的负面社会影响

限制。我们的工作还有很大的改进和探索的空间。例如，我们的数据来自 3D 扫描仪，仅包含空间信息，这是工业生产中的常见做法。然而，通过校准和拼接多个 RGBD 图像或使用建模软件渲染，可以获得标准化的 RGB 点云模板。 RGB点云模板可以同时应用于RGB图像（2D）异常检测和点云（3D）异常检测。此外，我们的数据可以通过控制渲染条件从不同角度生成深度图像，从而从该角度进行异常检测。这还有待探索。此外，尽管我们的基线优于现有的异常检测方法，但由于测试点云边缘被截断，它仍然容易受到错误检测。因此，更先进的模型有望更有效地解决这些问题。我们的工作作为全视角点云异常检测的首次尝试，将激发该领域的进一步探索。

潜在的负面社会影响。我们的数据是通过扫描工业产品获得的，所以不会存在负面的社会影响。

6结论

在这项工作中，我们提出了一个 Real3D-AD 数据集来研究高精度点云异常检测问题，旨在促进先进加工和精密制造的缺陷识别研究。迄今为止最非凡的高精度 3D 工业异常检测数据集 Real3D-AD 包含 1,254 个高分辨率 3D 项目（每个项目 $\geq$ 一百万个点云），涵盖 12 个现实世界适用的对象。在点云分辨率 (0.0010mm-0.0015mm)、 $360^{\circ}$ 度覆盖范围和完美原型方面，Real3D-AD 优于当前可用的 3D 异常检测数据集。此外，我们还提供了对 Real3D-AD 数据集的全面评估，强调缺乏基线方法来实现高精度点云异常检测应用。我们提出了一种通用的基于配准的 3D 异常检测技术（Reg3D-AD）和保留局部特征和全局表示的 3D 特征耦合单元。 Real3D-AD 数据集上的实验表明，Reg3D-AD 的性能明显优于次优方法。

致谢。该工作得到国家重点研发计划（批准号： 2022YFF1202903）和国家自然科学基金（批准号：2022YFF1202903） 62122035、62206122）。

参考

[1] Paul Bergmann and David Sattlegger. Anomaly detection in 3d point clouds using deep geometric descriptors. 2023 IEEE/CVF Winter Conference on Applications of Computer Vision (WACV), pages 2612–2622, 2022.
[2] Robert C. Bolles and Martin A. Fischler. A ransac-based approach to model fitting and its application to finding cylinders in range data. In International Joint Conference on Artificial Intelligence, 1981.
[3] Luca Bonfiglioli, Marco Toschi, Davide Silvestri, Nicola Fioraio, and Daniele De Gregorio. The eyecandies dataset for unsupervised multimodal anomaly detection and localization. Proceedings of the Asian Conference on Computer Vision, pages 3586–3602, 2022.
[4] Yunkang Cao, Qian Wan, Weiming Shen, and Liang Gao. Informative knowledge distillation for image anomaly segmentation. Knowledge-Based Systems, 248:108846, 2022.
[5] Yunkang Cao, Xiaohao Xu, Zhaoge Liu, and Weiming Shen. Collaborative discrepancy optimization for reliable image anomaly localization. IEEE Transactions on Industrial Informatics, 2023.
[6] Yunkang Cao, Xiaohao Xu, and Weiming Shen. Complementary pseudo multimodal feature for point cloud anomaly detection. arXiv preprint arXiv:2303.13194, 2023.
[7] Yunkang Cao, Xiaohao Xu, Chen Sun, Yuqi Cheng, Zongwei Du, Liang Gao, and Weiming Shen. Segment any anomaly without training via hybrid prompt regularization. arXiv preprint arXiv:2305.10724, 2023.
[8] Ruitao Chen, Guoyang Xie, Jiaqi Liu, Jinbao Wang, Ziqi Luo, Jinfan Wang, and Feng Zheng. Easynet: An easy network for 3d industrial anomaly detection. arXiv preprint arXiv:2307.13925, 2023.
[9] Blender Online Community. Blender - a 3d modelling and rendering package. 2018.
[10] CloudCompare Community. Cloudcompare - a 3d pointcloud and mesh software. 2016.
[11] Yajie Cui, Zhaoxiang Liu, and Shiguo Lian. A survey on unsupervised industrial anomaly detection algorithms. arXiv preprint arXiv:2204.11161, 2022.
[12] Hanqiu Deng and Xingyu Li. Anomaly detection via reverse distillation from one-class embedding. Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 9737–9746, 2022.
[13] Eleazar Eskin, Andrew O. Arnold, Michael J. Prerau, Leonid Portnoy, and S. Stolfo. A geometric framework for unsupervised anomaly detection. In Applications of Data Mining in Computer Security, 2002.
[14] Kaiming He, X. Zhang, Shaoqing Ren, and Jian Sun. Deep residual learning for image recognition. 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), pages 770–778, 2015.
[15] Eliahu Horwitz and Yedid Hoshen. Back to the feature: classical 3d features are (almost) all you need for 3d anomaly detection. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 2967–2976, 2023.
[16] Xi Jiang, Jianlin Liu, Jinbao Wang, Qiang Nie, Kai Wu, Yong Liu, Chengjie Wang, and Feng Zheng. Softpatch: Unsupervised anomaly detection with noisy data. Advances in Neural Information Processing Systems, 35:15433–15445, 2022.
[17] Jiaqi Liu, Guoyang Xie, Jingbao Wang, Shangnian Li, Chengjie Wang, Feng Zheng, and Yaochu Jin. Deep industrial image anomaly detection: A survey. arXiv preprint arXiv:2301.11514, 2, 2023.
[18] Tongliang Liu and Dacheng Tao. Classification with noisy labels by importance reweighting. IEEE Transactions on Pattern Analysis and Machine Intelligence, 38:447–461, 2014.
[19] Yatian Pang, Wenxiao Wang, Francis E. H. Tay, W. Liu, Yonghong Tian, and Liuliang Yuan. Masked autoencoders for point cloud self-supervised learning. In European Conference on Computer Vision, 2022.
[20] Bergmann Paul, Jin Xin, Sattlegger David, and Steger Carsten. The mvtec 3d-ad dataset for unsupervised 3d anomaly detection and localization. In Proceedings of the 17th International Joint Conference on Computer Vision, Imaging and Computer Graphics Theory and Applications, volume 5: 202-213, 2022.
[21] Karsten Roth, Latha Pemula, Joaquin Zepeda, Bernhard Schölkopf, Thomas Brox, and Peter Gehler. Towards total recall in industrial anomaly detection. 2022 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), pages 14298–14308, 2021.
[22] Karsten Roth, Latha Pemula, Joaquin Zepeda, Bernhard Schölkopf, Thomas Brox, and Peter Gehler. Towards total recall in industrial anomaly detection. Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 14318–14328, 2022.
[23] Marco Rudolph, Tom Wehrbein, Bodo Rosenhahn, and Bastian Wandt. Asymmetric student-teacher networks for industrial anomaly detection. 2023 IEEE/CVF Winter Conference on Applications of Computer Vision (WACV), pages 2591–2601, 2022.
[24] Radu Bogdan Rusu, Nico Blodow, and Michael Beetz. Fast point feature histograms (fpfh) for 3d registration. In 2009 IEEE International Conference on Robotics and Automation, pages 3212–3217, 2009.
[25] Xian Tao, Xinyi Gong, Xin Yu Zhang, Shaohua Yan, and Chandranath Adak. Deep learning for unsupervised anomaly localization in industrial images: A survey. IEEE Transactions on Instrumentation and Measurement, 71:1–21, 2022.
[26] Tran Dinh Tien, Anh Tuan Nguyen, Nguyen Hoang Tran, Ta Duc Huy, Soan Duong, Chanh D Tr Nguyen, and Steven QH Truong. Revisiting reverse distillation for anomaly detection. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 24511–24520, 2023.
[27] Qian Wan, Yunkang Cao, Liang Gao, Weiming Shen, and Xinyu Li. Position encoding enhanced feature mapping for image anomaly detection. In 2022 IEEE 18th International Conference on Automation Science and Engineering (CASE), pages 876–881. IEEE, 2022.
[28] Yue Wang, Jinlong Peng, Jiangning Zhang, Ran Yi, Yabiao Wang, and Chengjie Wang. Multimodal industrial anomaly detection via hybrid fusion. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 8032–8041, 2023.
[29] Matthias Wieler and Tobias Hahn. Weakly supervised learning for industrial optical inspection. In DAGM symposium in, 2007.
[30] Guoyang Xie, Jinbao Wang, Jiaqi Liu, Yaochu Jin, and Feng Zheng. Pushing the limits of fewshot anomaly detection in industry vision: Graphcore. In The Eleventh International Conference on Learning Representations, 2022.
[31] Guoyang Xie, Jinbao Wang, Jiaqi Liu, Jiayi Lyu, Yong Liu, Chengjie Wang, Feng Zheng, and Yaochu Jin. Im-iad: Industrial image anomaly detection benchmark in manufacturing. arXiv preprint arXiv:2301.13359, 2023.
[32] Xincheng Yao, Ruoqi Li, Jing Zhang, Jun Sun, and Chongyang Zhang. Explicit boundary guided semi-push-pull contrastive learning for supervised anomaly detection. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 24490–24499, 2023.
[33] Zhiyuan You, Lei Cui, Yujun Shen, Kai Yang, Xin Lu, Yu Zheng, and Xinyi Le. A unified model for multi-class anomaly detection. arXiv preprint arXiv:2206.03687, 2022.
[34] Xumin Yu, Lulu Tang, Yongming Rao, Tiejun Huang, Jie Zhou, and Jiwen Lu. Point-bert: Pre-training 3d point cloud transformers with masked point modeling. 2022 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), pages 19291–19300, 2021.
[35] Vitjan Zavrtanik, Matej Kristan, and Danijel Skočaj. Draem-a discriminatively trained reconstruction embedding for surface anomaly detection. Proceedings of the IEEE/CVF International Conference on Computer Vision, pages 8330–8339, 2021.
[36] Lingrui Zhang, Shuheng Zhang, Guoyang Xie, Jiaqi Liu, Hua Yan, Jinbao Wang, Feng Zheng, and Yaochu Jin. What makes a good data augmentation for few-shot unsupervised image anomaly detection? In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 4344–4353, 2023.
[37] Ying Zhao. Omnial: A unified cnn framework for unsupervised anomaly localization. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 3924–3933, 2023.

附录 A实验设置

由于GPU内存的限制，我们在基准方法上进行子采样。对于BTF [15]，我们以100:1的比例对训练样本的点进行采样并存储，对于测试样本，我们以500:1的比例对点进行采样。计算每个点的异常分数后，我们使用 k 最近邻 (KNN) 算法[13]估计未采样点的异常分数。对于M3DM [28]，我们将点Transformer的点组数设置为16384。在我们基于PatchCore[22]的实验中，我们统一将存储体的大小设置为10000。

附录B实验

由于篇幅限制，我们只在正文中给出了对象级的 auroc 结果，这里我们在表 5 中显示了对象级的 au-pr，在表 6 中显示了点级的 auroc，在表 7 中显示了点级的 au-pr。在所有方法中，我们的Reg3D-AD在点级AUROC方面仅略低于BTF（Raw），在点级AUPR方面略低于我们自行设计的PatchCore（FPFH+Raw）。总体而言，Reg3D-AD 仍然是可靠的基线。此外，我们还调整了不同的存储体大小和PointMAE点组数量进行比较。如表8所示，较大的PointMAE点组数量可以提高模型性能，而较大的存储体并不总是能带来性能提升。

表 5： ADBench-3D 用于 Real3D-AD。该分数表示对象级别的AUPR

\uparrow

。

Category	BTF		M3DM		PatchCore			Reg3D-AD
Category	Raw	FPFH	PointMAE	PointBERT	FPFH	FPFH+Raw	PointMAE	Reg3D-AD
airplane	0.659	0.506	0.479	0.497	0.852	0.807	0.747	0.703
car	0.653	0.523	0.508	0.517	0.611	0.766	0.555	0.753
candybar	0.638	0.490	0.498	0.480	0.553	0.611	0.576	0.824
chicken	0.814	0.464	0.739	0.716	0.872	0.885	0.864	0.884
diamond	0.677	0.535	0.620	0.661	0.569	0.767	0.801	0.884
duck	0.620	0.760	0.533	0.569	0.506	0.560	0.488	0.588
fish	0.638	0.633	0.525	0.628	0.642	0.844	0.720	0.939
gemstone	0.603	0.598	0.663	0.628	0.411	0.411	0.444	0.454
seahorse	0.567	0.793	0.518	0.491	0.508	0.763	0.546	0.787
shell	0.434	0.751	0.616	0.638	0.573	0.553	0.590	0.646
starfish	0.557	0.579	0.573	0.573	0.491	0.473	0.561	0.491
toffees	0.505	0.700	0.593	0.569	0.506	0.559	0.708	0.721
Average	0.624	0.603	0.572	0.581	0.599	0.676	0.626	0.723

表 6： ADBench-3D 用于 Real3D-AD。分数表示点级 AUROC

\uparrow

。

Category	BTF		M3DM		PatchCore			Reg3D-AD
Category	Raw	FPFH	PointMAE	PointBERT	FPFH	FPFH+Raw	PointMAE	Reg3D-AD
airplane	0.738	0.564	0.530	0.523	0.471	0.556	0.579	0.631
car	0.708	0.647	0.607	0.593	0.643	0.740	0.610	0.718
candybar	0.864	0.735	0.683	0.682	0.637	0.749	0.635	0.724
chicken	0.693	0.608	0.735	0.790	0.618	0.558	0.683	0.676
diamond	0.882	0.563	0.618	0.594	0.760	0.854	0.776	0.835
duck	0.875	0.601	0.678	0.668	0.430	0.658	0.439	0.503
fish	0.709	0.514	0.600	0.589	0.464	0.781	0.714	0.826
gemstone	0.891	0.597	0.654	0.646	0.830	0.539	0.514	0.545
seahorse	0.512	0.520	0.561	0.574	0.544	0.808	0.660	0.817
shell	0.571	0.489	0.748	0.732	0.596	0.753	0.725	0.811
starfish	0.501	0.392	0.555	0.563	0.522	0.613	0.641	0.617
toffees	0.815	0.623	0.679	0.677	0.411	0.549	0.727	0.759
Average	0.722	0.566	0.637	0.636	0.592	0.692	0.634	0.700

表 7： ADBench-3D 用于 Real3D-AD。分数表示点级AUPR

\uparrow

。

Category	BTF		M3DM		PatchCore			Reg3D-AD
Category	Raw	FPFH	PointMAE	PointBERT	FPFH	FPFH+Raw	PointMAE	Reg3D-AD
airplane	0.027	0.012	0.007	0.007	0.027	0.016	0.016	0.017
car	0.028	0.014	0.018	0.017	0.034	0.160	0.069	0.135
candybar	0.118	0.025	0.016	0.016	0.142	0.092	0.020	0.109
chicken	0.044	0.049	0.310	0.377	0.040	0.045	0.052	0.044
diamond	0.239	0.032	0.033	0.038	0.273	0.363	0.107	0.191
duck	0.068	0.020	0.011	0.011	0.055	0.034	0.008	0.010
fish	0.036	0.017	0.025	0.039	0.052	0.266	0.201	0.437
gemstone	0.075	0.014	0.018	0.017	0.093	0.066	0.008	0.016
seahorse	0.027	0.031	0.030	0.028	0.031	0.291	0.071	0.182
shell	0.018	0.011	0.022	0.021	0.031	0.049	0.043	0.065
starfish	0.034	0.017	0.040	0.040	0.037	0.035	0.046	0.039
toffees	0.055	0.016	0.021	0.018	0.040	0.055	0.055	0.067
Average	0.065	0.022	0.046	0.052	0.074	0.129	0.058	0.113

表8：我们的 Reg3D-AD 的消融实验。我们修改了Point Transformer的点组数量和存储体的存储大小。请注意，O-AUROC 中的 O 指的是对象级别，P-AUROC 中的 P 指的是点级别。

Category	Ours(point groups 16384, memory size 10000)				Ours(point groups 8192, memory size 10000)				Ours(point groups 16384, memory size 20000)
Category	O-AUROC	P-AUROC	O-AUPR	P-AUPR	O-AUROC	P-AUROC	O-AUPR	P-AUPR	O-AUROC	P-AUROC	O-AUPR	P-AUPR
airplane	0.716	0.631	0.703	0.017	0.873	0.704	0.819	0.024	0.737	0.622	0.761	0.014
car	0.697	0.718	0.753	0.135	0.752	0.777	0.744	0.183	0.719	0.735	0.706	0.170
candybar	0.827	0.724	0.824	0.109	0.693	0.751	0.709	0.077	0.732	0.704	0.744	0.070
chicken	0.852	0.676	0.884	0.044	0.621	0.457	0.628	0.040	0.648	0.689	0.636	0.052
diamond	0.900	0.835	0.884	0.191	0.794	0.792	0.794	0.297	0.882	0.817	0.877	0.122
duck	0.584	0.503	0.588	0.010	0.570	0.342	0.515	0.012	0.572	0.521	0.564	0.012
fish	0.915	0.826	0.939	0.437	0.836	0.818	0.848	0.325	0.948	0.825	0.953	0.418
gemstone	0.417	0.545	0.454	0.016	0.386	0.737	0.421	0.087	0.420	0.544	0.458	0.032
seahorse	0.762	0.817	0.787	0.182	0.713	0.773	0.702	0.191	0.726	0.811	0.707	0.202
shell	0.583	0.811	0.646	0.065	0.665	0.753	0.574	0.042	0.542	0.803	0.583	0.061
starfish	0.506	0.617	0.491	0.039	0.422	0.591	0.432	0.039	0.485	0.593	0.460	0.034
toffees	0.685	0.759	0.721	0.067	0.562	0.419	0.554	0.036	0.710	0.764	0.744	0.071
Average	0.705	0.700	0.723	0.113	0.666	0.681	0.653	0.120	0.674	0.697	0.677	0.108