结构异常的多视图 3D 实例分割

用于增强混凝土桥梁的结构检查

Christian Benz¹¹1Corresponding author, christian.benz@uni-weimar.de Volker Rodehorst

摘要

为了进行有效的结构损伤评估，需要将损伤实例定位在 3D 模型的世界中。由于缺乏数据，目前无法在 3D 空间中直接学习和执行结构异常的检测。在这项工作中，提出了一种三阶段方法，该方法利用图像级别检测模型的良好性能来分割 3D 空间中的异常实例。在检测阶段，在图像级别产生语义分割预测。映射阶段将图像级预测传输到相应的点云上。在提取阶段，从分割的点云中提取3D异常实例。云收缩用于将裂纹转换为其中轴表示。对于区域异常，通过 alpha 形状提取边界多边形。该方法涵盖了裂纹、剥落和腐蚀类以及三个图像级分割模型 TopoCrack pantoja2022topo ， nnU-Net benz2023ai 和DetectionHMA benz2022image 进行了比较。假设定位公差为 4 厘米，裂纹和腐蚀的 IoU 可以达到 90% 以上，剥落的 IoU 可以达到 41%，这似乎是一个特别具有挑战性的类别。 $\text{AP}_{50}$ 中测得的实例级检测中，裂纹和剥落的检测率约为 45%，腐蚀的检测率为 73%。

关键词：

结构状况评估、结构检查、结构健康监测 (SHM)、深度学习、裂纹检测、3D 异常检测

^†^†journal: Automation in Construction

[inst1]组织=计算机视觉工程，包豪斯大学，地址线=Schwanseestraße 143，城市=魏玛，邮政编码=99427，州=图林根州，国家/地区=德国

1简介

结构健康监测（SHM）对于现代社会的重要性是无可争议的。它确保关键基础设施保持运行，或者在必要时及时、系统地更新。因此，它有助于关键基础设施的安全和持久使用，这是现代社会运作的重要组成部分。运输路线依赖基础设施来实现货物交付和个人流动。特别是，桥梁用于缩短路线或绕过崎岖的地形，这有时使其成为两个地点之间唯一可行的连接。暴露在风化和各种力量的作用下，桥梁特别容易退化，不可预见的倒塌往往会造成灾难性的后果。因此，定期检查桥梁具有很高的社会效益，同时也给相关人员和机器带来了巨大的挑战。

新技术的可用性和利用导致了自动化结构检测研究活动的增长。特别是，更通用的图像采集平台（例如UAS（无人驾驶飞机系统，又名无人机））和先进的数据算法（例如机器学习）的出现推动了该领域的研究和工程。随着越来越多、更好的技术和数据的出现，与实际应用的差距即将逐渐缩小。

因此，基于图像识别关键基础设施表面结构异常的研究正在迅速发展。虽然当前的工作重点是检测图像级别的裂缝和其他异常，但将此信息传输到点云 3D 空间的探索尚未充分。然而，异常的严重程度很大程度上取决于其在结构上发生的位置。仅参考图像很难确定结构上异常的正确位置。因此，将结构异常检测扩展到图像级别之外构成了这项工作的主题。

对于有效的 3D 结构检测，将检测结果从图像级传输到 3D 空间是一个关键方面。然而，只有将映射结果离散化为 3D 中的专用异常实例才能对其扩展进行定量分析。裂缝的长度和宽度或腐蚀或剥落覆盖的区域等信息可以持续支持相关专家的决策过程。此外，它还为提高决定特定决策的检查标准的可追溯性、客观性和可验证性铺平了道路。

为此，这里提出了一个工作流程，用于完成 3D 点云上的实例分割。它利用 SOTA 模型对图像级结构异常进行语义分割(检测阶段)，并通过以下方式将 2D 预测投影到 3D 点云(映射阶段)：点着色。此过程不会产生异常实例。因此，随后对点进行聚类，并将裂纹转换为中轴，同时使用边界多边形来表示区域异常(提取阶段)。获得的异常实例能够计算附加的定量指标，例如裂缝宽度和长度或区域异常的面积和周长。

这项工作的主要贡献是：

1.

演示和实施用于检测、映射和提取 3D 点云中结构异常的全功能工作流程。
2.

将裂纹和区域异常合理转换为可测量的 3D 实例的介绍和应用。
3.

对现实世界数据的 3D 异常实例分割所提出的工作流程的 SOTA 模型进行了彻底的评估和比较。

在介绍相关工作后，深入解释了检测工作流程，包括检测、映射和提取阶段。广泛的评估表明了方法的优点和缺点，可视化提供了对结果的定性印象。

2相关工作

确定了相关工作的三个主要领域：图像级裂缝和其他结构异常的检测以及 3D 异常检测的方法。

2.1 裂纹分割

mohan2018crack 提供了在人工神经网络 (ANN) 成为主导方法之前对裂纹检测的调查。边缘检测、形态学操作、过滤和阈值处理是最常用的技术abdel2003analysis； Oliveira2012自动 ; talab2016检测； sinha2006自动化; salman2013路面； lins2016自动; yeum2015愿景 . CrackTree 方法 zou2012cracktree 在先前识别的裂纹种子上构建最小生成树。 shi2016automatic 使用名为 CrackForest 的决策树集合进行裂缝分类。

自 2017 年以来，人工神经网络 (ANN) 已成为裂纹检测的主要方法。 dorafshan2018comparison 进行了一项研究，比较了 AlexNet krizhevsky2012imagenet 与六个边缘检测器（包括 Sobel、LoG 和 Butterworth）的不同训练配置。 SDNET数据集dorafshan2018sdnet2018上的实验表明了ANN的优越性和迁移学习的有效性。其他方法，由zhang2016road提出；陈2017nb; cha2017deep，涉及使用分类 CNN 与滑动窗口相结合来处理更大的图像和/或改进定位。 yang2018automatic 推广了向全卷积网络 (FCN) long2015ively 裂纹分割的过渡。基于 SegNet badrinarayanan2017segnet ，DeepCrackZ 被设计为 zou2018deepcrack ：具有单独的、按比例损失的单独融合逻辑，支持保留薄结构。概念上类似的方法 DeepCrackL²²2DeepCrackZ 和 DeepCrackL 用于消歧，因为两者最初都被命名为“DeepCrack”。由liu2019deepcrack建议。在深度监督网络 (DSN) lee2015deeply 的风格中，计算中间侧输出的损失，以利用精细细节和抗噪声能力。输出经过引导滤波 (GF) he2012guided 和条件随机场 (CRF) zheng2015conditional 的后处理。据报道，与更简单的 FCN 设计 liu2019computer 相比，具有焦点损失 lin2017focal 的 U-Net ronneberger2015u 性能更优越。 yang2019feature提出特征金字塔和分层提升网络（FPHBN）。它通过特征金字塔模块xie2015holistically扩展了整体嵌套边缘检测（HED），以合并上下文信息并将其传播到较低级别。分层增强支持 FPHBN 内的层间通信。 liu2021crackformer 开发 CrackFormer，这是一种基于 Transformer 的裂纹分割方法。为此，VGG simonyan2014very 的卷积层被自注意力逻辑取代。为了增加裂纹锐度，建议使用缩放注意块。 benz2022image提出了tao2020hierarchical的分层多尺度注意力网络的重新训练版本，称为HMA，它减轻了裂缝的尺度敏感性。结果是根据对不同尺度裂缝的关注来汇总的。为了保持裂纹的连续性，pantoja2022topo提出了TOPO损失，它使用最大最小路径来减轻裂纹之间的不连续性。 chen2023devil 最近提出了一种名为 CrackDet 的定向边界框方法。 bianchi2022development 和 kulkarni2022crackseg9k 强调了迁移学习的有用性，并将较小的裂纹数据集组合成较大的数据集、Conglo 和 CrackSeg9k。 kulkarni2022crackseg9k 比较了多种方法，包括 Pix2Pix、SWIN 和 MaskRCNN。具有 ResNet-101 主干的 DeepLabV3+ chen2018encoder 优于其他方法。 bianchi2022development证实DeepLabV3+是一种有效的裂纹分割方法。

2.2 结构异常检测

尽管过去几年已经发布了许多关于裂纹检测的数据集和方法，但人们对基于图像的其他结构异常检测的兴趣和资源直到最近才开始加快步伐。与裂纹检测类似，首先探索了图像分类到异常检测的范式。 CODEBRIM mundt2019meta 和 MCDS huthwohl2019multi 数据集具有剥落和风化等类别的特征。 mundt2019meta 提出了一种用于 CODEBRIM 上神经架构搜索（NAS）的元学习方法，其性能略优于 VGG- simonyan2014very 和基于 DenseNet 的 huang2017densely 方法。基于 NAS 的模型需要的参数明显更少。 flotzinger2022building 对这些数据集上的迁移学习进行基准测试和广泛的超参数调整。

Science 2021，观察到结构异常检测向语义分割的转变。 benz2022image发布了包含743张图像的S2DS数据集，其特征包括裂缝、剥落、腐蚀、风化和植被等异常现象。所提出的DetectionHMA benz2022image 使用不同尺度的注意力图来有效地利用多尺度信息。为了将不断增加的数据集系统化，bianchi2022visual调查了已发布的数据集以进行结构检查，并开始列出可用的数据集³³3https://github.com/beric7/structural_inspection_main/tree/main/cataloged_review，2023 年 12 月 29 日访问。. CSSC yang2017deep 数据集代表裂缝和剥落。 CrSpEE bai2021detecting 涵盖了“野外”场景中的相同异常，即存在大量干扰因素（人、上下文、背景）。最近 flotzinger2024dacl10k 发布了 dacl10k 数据集，其中包含 10,000 张图像和 i.a. 包括裂纹、剥落、锈蚀、风化、湿斑、落石和风化等类别。 WACV'24 flotzinger2024dacl 主办的相应挑战表明了 SOTA 模型上迁移学习用于语义分割的强大功能，例如 ConvNeXt-Large liu2022convnet 、 EVA-02-Large fang2023eva ，或 Mask2Former heng2022masked 以及集成的广泛使用。

2.3 3D异常检测

最近，基于图像的 3D 空间裂缝和其他结构异常检测越来越受到人们的关注。该状态还为时过早，并且缺乏公开可用的数据集，这会干扰有效的模型训练和评估。对于工业环境中的 3D 异常检测，MVTec 3D-AD 数据集已发布 bergmann2021mvtec 。该数据集的特点是具有划痕、孔洞、变形和其他异常的点云，涉及十个工业相关类别，包括饼干、胡萝卜、销钉和绳索。对于 MVTec 3D-AD，bergmann2023anomaly 将无监督的学生-教师方法转移到 3D，并从深度特征描述符推断缺陷点云。 MVTec 3D-AD 的应用环境与结构检查的不同之处在于受控采集环境、实现的 3D 分辨率和捕获的对象。

在过去的十年中，许多方法专门针对 3D 结构检查。 jahanshahi2012adaptive 提出了一种利用从 SfM 获得的深度信息组合来自多个图像的信息来进行 3D 裂纹检测的系统。为了发现三角网格中的裂纹，torok2014image 利用法线相对于单元中轴的偏差。 huang2014pavement使用激光扫描仪捕获的深度信息来支持基于图像的裂缝分割。 zhang2017automated 提出了一个名为 CrackNet 的 CNN，它对路面裂缝的深度图进行操作。 zhang2018deep提出了一种基于学习的后继者。 3D 点的嵌入特征由 chen2022crackembed 提取，并用于以无监督的方式分割裂纹区域。 pantoja2023damage 预先分割建筑物外墙，然后将在图像级别分割的裂缝投射到 3D 模型上。

基于实际检测场景中点云的分辨率相对较低，在点云级别上本地运行的方法呈现适合本工作的应用案例。因此，这里通过使用来自多个视图的更高分辨率来实现 3D 异常检测。由于目前数据过于匮乏，多视点云分割方法的端到端训练目前还不可行。因此，在多阶段方法中利用 2D 异常检测的有效性能，将 2D 结果有效地转换为 3D 异常实例。

3数据

由于该领域的发展较晚，公众尚无法获得用于结构异常检测的适当的、标记的 3D 数据。缺乏此类数据集的原因包括：

可达性：: 如果不付出更大的努力，通常无法到达结构的许多部分。 UAS 等现代图像采集平台促进了可达性，但这仍然是一项具有挑战性的工作。
感兴趣的区域：: 结构的表面很大，异常现象通常很少且准时出现。相关区域的识别是一项劳动密集型任务。在这方面，它必须被视为是先有蛋的问题：3D 异常检测的目标是使该过程自动化。然而，数据集创建首先需要手动检索异常。
质量要求：: 裂纹检测对图像分辨率提出了挑战性的要求。通过移动平台（例如 UAS）获取分辨率为 0.15 毫米的高质量重叠图像是一项独特的挑战，导致只有几个各自质量和分辨率的可用数据集。
标签工作：: 有效的标签必须包括现场专家，而这些专家很少（或愿意）在更广泛的范围内标签数据。
可扩展性：: 点云对于非常高分辨率的缩放很弱，导致点云超过 20M 点。因此，技术原因目前需要可管理大小的点云。
数据保护：: 结构维护者通常不希望（可能有缺陷的）结构暴露于公众。除了带来负面宣传之外，结构的缺陷还可能被利用进行（恐怖）袭击。
3D结构：: 通常，结构表面的很大一部分是平面的。只有少数零件具有非平面区域，例如角落或壁龛。探索 3D 异常检测仅在结构的有缺陷的非平面部分上才合理。

尽管存在列出的障碍，我们还是在这项工作的背景下创建了一个数据集。该数据集包含两座混凝土桥梁的四个部分，显示出适合 3D 异常检测的异常情况。

Bridge B

Bridge G

Dev

Test

Dev

Test

Points

Resolution [

\frac{\text{mm}^{2}}{\text{pt}}

]

Views

Anomaly Instances

Cracks

Spalling

Corrosion

26.5 M

0.026

–

22.7 M

0.027

–

23.2 M

0.172

–

36.0 M

0.219

–

表1：现实世界检查场景中 3D 异常检测的数据集分为开发集和测试集。两座桥梁各有两段，均显示出裂缝、剥落和腐蚀等异常情况。

3.13D重建

捕获 3D 现实世界数据是一项具有挑战性的任务，通常通过处理 2D 表示并随后推断 3D 结构来执行。虽然可以使用多种测量物体 3D 结构的方法，包括结构光传感器和飞行时间 (TOF) 相机（例如steger2018machine ) – 基于图像的立体重建是结构检查的标准程序。

从多个图像重建静态 3D 场景仍然遵循 pollefeys2004visual 中发布的原则：结构从运动 (SfM) 管道推断视图的相对方向，随后用于执行多视图立体 (MVS)，产生密集的点云。此过程在 COLMAP 中实现⁴⁴4https://colmap.github.io/，访问日期：2023 年 12 月 20 日。软件schonberger2016结构； schonberger2016pixelwise，广泛应用于学术界和工业界。除了可在宽松的开源许可证下使用的 COLMAP 之外，还存在许多商业产品，例如 Reality Capture⁵⁵5https://www.capturingreality.com/，访问日期：2023 年 12 月 20 日。或 Agisoft Metashape⁶⁶6https://www.agisoft.com/，访问日期：2023 年 12 月 20 日。. 后者在本工作中用于根据捕获的图像计算 3D 点云和纹理网格。

3.2数据集

表 1 提供了创建的数据集的概述。 B桥是德国的一座公路桥，裂缝较宽，范围在0.5至1.0毫米之间。使用索尼 $\alpha$ 7r I 相机拍摄了桥梁可进入的桥墩之一，该相机安装在三脚架上围绕桥墩底座移动，并调整到两个不同的高度。第二个物体，G 桥，是一座铁路桥，存在剥落和腐蚀的缺陷。这些图像是通过 UAS、英特尔 Falcon 8+ 拍摄的，索尼 $\alpha$ 7r I 相机安装在兼容的万向节上。从两座桥梁中提取了四个片段，在壁龛或拐角处显示出相关的异常现象。每个桥的一段用于开发组中进行参数调整，另外两段形成测试组。两个测试段的直观印象请参见图4。

3.3 注解协议

在实际场景中，重建的密集点云的分辨率通常低于图像级别的分辨率。因此，在稠密云上准确标注裂缝和异常边界变得不可行。由于表面的局部平坦性，可以重建三角网格并计算高分辨率纹理。纹理形成各个图像的调整后的马赛克，近似图像级分辨率。使用 CloudCompare 提供的折线追踪功能注释裂缝的折线以及腐蚀和剥落的多边形⁷⁷7https://www.danielgm.net/cc/，访问日期：2023 年 12 月 29 日。.

4工作流程

图 1 示意性地描述了将 2D 信息转换为 3D 异常实例的建议工作流程的组件。假设预先成功执行了3.1节中描述的3D重建。三个主要阶段是 (1) 检测阶段（“缺陷检测”）、(2) 映射阶段（“点着色”）和 (3 ）提取阶段（“实例聚类”、“云收缩”、“边界确定”和“宽度估计”）。在检测阶段，在所有图像上运行语义分割模型，返回输入图像所有像素的类概率。映射阶段将这些 2D 类概率传输到密集云，从而产生语义分割的点云。在最后的提取阶段，分割的点云被聚类，并且各个子云被转换为异常实例。对于裂纹实例，随后估计裂纹宽度。

5检测阶段

对于图像级别的检测，可以应用现成的异常分割模型。通过无人机、手机或手持相机等方式获得的彩色图像由分割模型进行处理，该模型返回所调查的每个类别的概率图（也称为热图)（裂纹、剥落、腐蚀和背景)。在这项工作中，使用并比较了三种 SOTA 方法 TopoCrack pantoja2022topo 、nnU-Net isensee2021nnu 和DetectionHMA benz2022image。所有这些都基于卷积神经网络（CNN），一种特定类型的人工神经网络。

拓扑裂缝

为了保持裂纹连续性，pantoja2022topo引入了一种称为TOPO损失的新型拓扑损失，并将其与其他损失进行基准测试。基础架构由 TernausNet iglovikov2018ternausnet 组成，它是一个基于 U-Net 的架构，带有 VGG11 编码器。除了骰子损失之外，还探讨了用于距离回归的 MSE 和用于拓扑保存的 TOPO 损失。距离回归基于从分割标签推断出的截断距离图。距离图中的每个像素代表到最近裂缝的距离。超过 20 像素的距离将被截断。截断的距离图与 MSE 损失一起使用，以强制模型学习到最近裂缝的正确距离。基于oner2021promoting TOPO损失使用最大最小路径的概念。最大最小路径是连接两个像素与沿途收集的最大值的最小长度的路径。在这种情况下，这些值是从距离图中绘制的。对于连续裂纹，连接裂纹左右背景区域的最大最小路径包含零值，即裂纹中心的交叉点。值大于零的最大最小路径表示裂纹不连续，因此受到惩罚。据报道，在同时发布的数据集上，MSE 和 TOPO 损失的组合的 F ${}_{1}$ 得分为 69%。

神经网络

nnU-Net方法由isensee2021nnu提出，并于2021年发表在NatureMethods上。在大部分MICCAI中排名第一⁸⁸8MICCAI 代表医学图像计算和计算机辅助干预，是指医学成像领域排名最高的年度计算机科学会议（排名根据 https://research.com/conference-rankings/computer-science，访问日期：2023 年 8 月 31 日）。本次会议由MICCAI协会主办http://www.miccai.org/。 2020年和2021年的挑战中，nnU-Net引起了医学影像领域的广泛关注。 nnU-Net的扩展版本还赢得了2022年腹部多器官分割的AMOS挑战isensee2023extending。 nnU-Net 的主要优点是设计模型所需的手动干预最少，并且适用于 2D 和 3D 分割任务。 benz2023ai 表明 nnU-Net 在医学领域之外的结构缺陷二维语义分割方面的有用性。

nnU-Net 一词指的是“无新网络”，因为它没有提出任何新的网络架构、损失函数或训练方案 isensee2021nnu 。相反，它系统化了“方法配置”的过程，并将其委托给一组固定的、基于规则的、经验性的参数，以实现自动的自我配置。基于从特定数据集推断出的数据指纹，启发式规则指导数据处理的基于规则的参数（例如重采样策略、强度归一化、补丁和批量大小）以及架构模板的调整。训练基于关于优化器、学习率、数据增强和损失函数的固定参数，并以 5 倍交叉验证方案运行。在 5 折交叉验证中，每折训练集的 20% 被遗漏用于验证目的。五折交叉验证最终产生五个具有相同架构但不同参数的模型。在后处理步骤中，根据经验确定组合五个模型的结果的集成。 nnU-Net的架构模板基于广泛使用的U-Net设计原理ronneberger2015u。 nnU-Net 在 S2DS 数据集上进行训练（见下文）。

检测HMA

检测HMA⁹⁹9https://github.com/ben-z-original/detectionhma，访问日期：2023 年 12 月 29 日。由benz2022image提出，用于检测混凝土表面的结构缺陷。它基于 tao2020hierarchical 的分层多尺度注意力方法，当时是城市景观基准 cordts2016cityscapes 上具有可用代码的最佳表现者。为了克服 CNNS 经常观察到的尺度不变性，HMA 结合了多个尺度，并根据同时生成的注意力图提出了不同尺度结果的动态组合。注意力图仅基于两个尺度进行对比学习。然而，为了推理，可以任意选择尺度的数量。对于DetectionHMA，比例1.0、0.5 和0.25 非常有用。作为主干，HMA 使用 HRNet-OCR yuan2020object ，其中 OCR 指的是对象上下文表示。对象上下文表示用于通过上下文信息增强像素的表示。 HMA 使用 zhao2019region 引入的区域互信息（RMI）损失，它将交叉熵分量与表示互信息的分量相结合。

DetectionHMA 在 S2DS(sstructural defect dataset）数据集上进行训练，由 743 张图像组成奔驰2022图片。该数据集包含由各种相机类型拍摄的真实检查现场的图像，并具有背景、裂缝、剥落、腐蚀、风化、植被和控制点等类别。由于缺乏其他类别的 3D 数据，本作品仅限于裂纹、剥落、腐蚀和背景。

6 映射阶段

在映射阶段，图像级别的结果被映射到3D空间。更具体地说，2D 热图中给出的概率信息被转移到 3D 点云上。为此，使用类标签作为相应的颜色来执行点着色。这些点被投影到所有视图中，并且收集的信息被聚合到每个 3D 点的单个类标签中。此过程在点云的批量点上并行执行。

来自视图的信息聚合遵循融合逻辑。假设更垂直于点的视图比来自倾斜方向的视图对点的类别贡献更高的度数。视图与点之间的偏差是通过点法线与观察方向之间的角度差来测量的。该信息通过以下加权方案汇总：

\displaystyle w_{i}=\begin{cases}\frac{1}{N},&\text{if }130^{\circ}<\theta<230% ^{\circ}\\ 0,&\text{else}\end{cases}

(1)

术语 $w_{i}$ 指的是密集点云中某个点的视图 $i$ 的权重。 $N$ 表示该点可见的视图数。仅当观看方向与点法线之间的角度偏差 $\theta$ 在 $(130^{\circ},230^{\circ})$ 范围内时才考虑视图。加权是在每个类通道上单独执行的。随后，基于赢者通吃的逻辑，为该点分配类标签，即分配具有最高值的类，而丢弃其他类。

7提取阶段

映射状态的结果是点云，其中每个点都被分配了特定的类标签。这项工作中考虑的类别是裂纹、剥落、腐蚀和背景。点云是一组独立的点，它们本身没有关于其邻域的更多知识。因此，尚不清楚同一类的点实际上是否代表相同或不同的缺陷实例。然而，对于高级定量分析，提取离散的异常实例至关重要。

7.1 聚类

假设相同类别和足够接近的点代表缺陷的相同实例。这一假设同样适用于裂纹、剥落和腐蚀。基于密度的噪声应用空间聚类 (DBSCAN) ester1996密度算法根据点的距离对点进行分组。一定距离内指定的最小数量的点形成代表簇的局部高密度邻域。低密度社区被认为是噪音，因此被丢弃。

点云分为三个子云，一个包含所有裂纹点，一个包含所有剥落点，一个包含所有腐蚀点。所有背景点都被丢弃。 DBSCAN 在所有子云上运行，并为每个点分配一个簇 ID。因此，每个点都有关于它代表哪个缺陷实例的信息。由于其线状特征，裂纹会经历与剥落和腐蚀不同的进一步处理。

7.2裂缝

点云表示不适合对检测到的裂纹进行定量分析，例如确定长度、分支数量或传播方向。为此，聚类点云被转换为称为（曲线）骨架或中轴的折线表示。尽管存在细微差别，但术语（曲线）骨架和中轴在这项工作中可以互换使用。图1(a)至1(d)说明了裂纹提取的阶段。

图1(a)显示了具有高质量纹理的网格上的裂纹。通过聚类，得到代表裂纹具体实例的子云，如图1(b)。为了提取子云的中轴，应用了基于拉普拉斯的收缩cao2010point。基于拉普拉斯的收缩最小化二次能量 cao2010point ：

\displaystyle\arg\min_{P^{\prime}}\left(||W_{L}LP^{\prime}||^{2}+\sum_{i}W_{H,% i}^{2}||p^{\prime}_{i}-p_{i}||^{2}\right).

(2)

$P=\{p_{i}\}$ 表示原始点云， $P^{\prime}=\{p^{\prime}_{i}\}$ 为收缩点云， $L$ 为拉普拉斯矩阵， $W_{L}$ 为收缩权重矩阵， $W_{H}$ 吸引力权重矩阵。第一项 $||W_{L}LP^{\prime}||^{2}$ 表示几何细节，需要进行平滑处理。第二项 $\sum_{i}W_{H,i}^{2}||p^{\prime}_{i}-p_{i}||^{2}$ 保留点云的几何形状。收缩和吸引权重平衡了塌缩成一点（“收缩”）和保持在当前位置（“吸引”）的趋势。方程2以迭代方式求解，增加收缩权重并更新吸引权重，以保持形状并避免完全塌陷。

收缩的点云缺乏有关点的连通性的信息。因此，计算最小生成树，生成所有点都在最小边长度下的连通图。生成树的节点的度数为 1、2 或更大。 1度节点为末端节点，2度节点为中间节点，3度以上节点为分叉节点。生成树在每个分叉节点处递归划分以获得无分支的折线。图1(c)显示了为各个点云提取的中轴（红色）。检测到的裂纹由 5 条无分支的折线组成。图1(d)显示了3D空间中覆盖在纹理网格上的中轴。

7.3 裂缝宽度估计

一旦提取了 3D 裂纹骨架，就可以估计骨架各个点的裂纹宽度。为此，以固定间隔（例如 1 厘米）对骨架进行采样，并将给定点投影到所有视图中。根据启发式选择单个最佳视图，该启发式测量观察方向与点法线之间的角度。从给定的视图中，提取垂直于裂纹扩展方向的强度分布。然后可以通过矩形变换benz2021model来估计裂纹宽度：将强度分布的近似抛物线谷变换为等面积的矩形，从而产生估计的裂纹宽度。所选择的程序对于图像模糊比其他基于抛物线的方法更稳健。

7.3.1 面积缺陷

对于剥落或腐蚀等区域缺陷，骨架化似乎不适合。边界框和凸包相当粗略地勾勒出结构表面异常的延伸。因此，为了近似异常覆盖的区域，需要计算边界多边形。为此，代表剥落或腐蚀实例的子云被映射到二维空间。这是通过在子云上执行主成分分析 (PCA) 并仅保留最具方差解释力的两个维度来实现的。这些尺寸应该代表缺陷所在的平面。请注意，对于角落、墙壁投影和其他非平面条件处的缺陷，该过程可能会失败。

2D 空间中的多边形提取是通过 alpha 形状 edelsbrunner1983shape 来执行的； edelsbrunner1994三。 Alpha 形状形成凸包的概括，并表示包围所有相应点的边界 alpha 包。参数 $\alpha$ 表示广义圆盘的半径 $1/\alpha$ 并控制船体允许的凹度。对于接近零的值 $\alpha$ ，alpha 包近似于常见的凸包。对于 $\alpha<0$ ，alpha 外壳被定义为“所有封闭的圆盘互补体的交集”edelsbrunner1983shape，半径为 $-1/\alpha$ 。随着 $\alpha$ 接近负无穷大，返回具有最高凹度的边界壳，它对应于点的最小生成树。

本工作使用 alpha 复合体的实现¹⁰¹⁰10https://github.com/bellockk/alphashape 与 alpha 形状密切相关。 alpha 复合体计算的不是弧线，而是由 Delaunay 三角剖分得出的直线组成的 alpha 外壳。 $\alpha$ 的选择取决于点的密度和空间的尺度。在这项工作中，PCA 变换后的点位于标准化空间中，并且 alpha 值 $\alpha=100$ 呈现为合适的。图2(a)至2(e)说明了裸露钢筋的边界多边形。图2(a)显示了裸露钢筋的纹理网格，在本工作中将其建模为同时发生的剥落和腐蚀的联合。图2(b)是通过6节中描述的过程得出的分割点云的描述。橙色表示剥落，黄色表示腐蚀。图2(c)显示了在2D空间中使用α复合体计算的边界多边形。为此，通过 PCA 将 3D 子云映射到 2D 空间。 2D 空间中多边形的顶点直接对应于 3D 空间中的顶点，可以从中推断出 3D 边界多边形，如图 2(d)。最后，边界 3D 多边形可以与纹理网格一起显示，如图 2(e)。