基于标签一致性检测的动态驾驶场景下激光雷达-惯性里程计

Zikang Yuan1, Xiaoxiang Wang2, Jingying Wu2, Junda Cheng2 and Xin Yang2∗ 1Zikang Yuan is with Institute of Artificial Intelligence, Huazhong University of Science and Technology, Wuhan, 430074, China. (E-mail: yzk2020@hust.edu.cn)2Xiaoxiang Wang, Jingying Wu, Junda Cheng and Xin Yang are with the Electronic Information and Communications, Huazhong University of Science and Technology, Wuhan, 430074, China. (* represents the corresponding author. E-mail: m202272556@hust.edu.cn; m202177065@hust.edu.cn; jundacheng@hust.edu.cn; xinyang2014@hust.edu.cn)
摘要

本文提出了一种消除动态驾驶场景中运动物体影响的激光雷达-惯性里程计 (LIO) 方法。 该方法为当前扫描的 3D 点构建二值化标签,并利用每个点与其在 map 中周围点之间的标签差异来识别运动物体。 首先,使用地面分割将二值化标签(即地面和非地面)分配给当前扫描中的每个 3D 点。 在实际驾驶场景中,动态物体总是位于地面上。 对于从运动物体扫描的大多数点,它们无法与空间中的任何现有结构重合。 对于一小部分靠近地面的运动物体点,它们的标签与周围地面点存在差异。 因此,运动物体上的点由于在 map 中缺乏最近邻或与周围地面点的标签不一致而被识别出来。 使用基于体素位置的最近邻搜索对来自全局 map 的最近邻进行定位,并通过将标签一致性与最近邻进行比较来评估一致性,而无需进行任何大量计算。 最后,运动物体上的点被移除。 该方法被嵌入到一个自主研发的 LIO 系统(即 Dynamic-LIO)中,使用六个公共数据集进行评估,并在动态和静态环境中进行测试。 实验结果表明,我们的方法可以以极低的计算开销 (即 19ms/sweep) 来识别运动物体,并且我们的 Dynamic-LIO 可以在静态和动态场景中实现最先进的姿态估计精度。 我们已发布了这项工作的源代码,供社区开发使用。

关键词:
SLAM,定位,传感器融合。

简介

近年来,基于 3D 光探测和测距 (LiDAR) 的状态估计方法,包括 LiDAR-惯性里程计 (LIO),由于 LiDAR 在感知 3D 空间方面的强大优势,在自动驾驶领域发挥了重要作用。 这些方法可以实时提供车辆平台的 15 个自由度 (DOF) 状态估计,并恢复周围环境的 3D 结构。 然而,它们应用的场景严格受到静态环境假设的限制。 在实际驾驶场景中,移动的车辆或行人会在地图上留下鬼影轨迹(如图 1 (a) 所示),导致状态估计的累积误差,并为障碍物回避提供错误的观测信息。 鉴于 LIO 系统中实时状态估计和映射的必要性,移除动态对象的计算成本必须在单次扫描的处理时间预算内。 因此,从 3D 点云中有效地识别移动物体至关重要。

Refer to caption
图 1: (a) 包含动态点的示例点云地图的说明,其中绿色点是移动车辆的鬼影轨迹。 (b) 静态点云地图,其中动态点已被我们的标签一致性检测方法检测到并移除。

为了解决由鬼影轨迹引起的映射重建不良和状态估计不准确的问题,研究人员采用了一系列方法,例如点相关性、可见性、占用概率和语义信息来识别和移除输入 LiDAR 扫描中的动态 3D 点。 对于点相关性 [8],静态点之间存在相关性,但动态点和静态点之间不存在相关性。 地图点的连通性可以用来将移动物体与静态环境分离。 然而,相关性图的构建和维护涉及计算批处理 3D 点的成对欧几里得距离,整个过程需要大量的计算资源。 对于可见性 [18, 39, 10],重新投影图像平面上的静态像素在多个扫描中保持不变,而动态像素会发生位移。 然而,重新投影图像平面的生成需要一个计算过程,将大量的 LiDAR 点从其原始的 3D 空间映射到 2D 图像平面。 对于占用概率 [28, 38],对应于静态环境的体素的占用状态随时间保持不变,而被动态物体占用的体素的占用状态会随着时间而变化。 然而,估计占用栅格地图需要组合多个最近的静态子地图,并统计每个子地图中每个体素的占用状态。 上述三种方法利用大量的定量几何计算和全局统计来识别 3D 点云中的移动物体,并且它们会产生高昂的计算成本,这限制了它们与 LIO 系统的集成。 深度学习方法 [7, 21] 使用学习到的语义信息快速地定性地分离动态物体。 但是,它们依赖于大量的标记数据,在没有标记的类别下容易出错,并且需要强大的图形处理单元 (GPU) 来进行实时操作,这会占用后续任务(如轨迹规划)所需的资源。

与现有的涉及大量定量几何计算、全局统计或先验语义信息来对移动物体和静态环境进行分类的方法相比,在本研究中,使用基于与最近邻居标签差异的定性识别标准来识别移动物体上的 3D 点。 由于移动车辆和行人都在地面上,因此潜在的动态点仅存在于非地面空间中,而移动物体的底座则紧邻地面。 基于这一特点,提出了一种标签一致性检测方法,该方法可以在没有任何先验语义信息的情况下快速识别移动物体,从而对驾驶场景中的移动物体和静态环境进行分类。 所提出的标签一致性检测方法的核心思想包括两个部分。 首先,利用快速二维连通分量 [14] 将当前扫描的 3D 点划分为二值化标签,即地面点和非地面点。 然后,通过与最近邻居的标签一致性进行比较来确定动态点,最近邻居通过基于体素位置的最近邻居搜索方法直接定位。 整个动态点识别过程,包括基于体素位置的最近邻居搜索和标签一致性比较,都没有任何关于几何计算或全局统计的操作。 这一特点确保了所提出的方法具有极低计算开销的优势(即 19ms/扫描)。 最后,提出了一种使用该标签一致性检测方法的自研 LIO 系统(即 Dynamic-LIO),用于消除驾驶场景中移动物体的影响。 为了保证最终重建的地图仅包含静态点,任何检测到的动态点都将被排除在全局地图之外(如 图 1 (b) 所示)。 随后,干净的静态全局地图可用于对下一扫描执行标签一致性检测,从而确保所提出方法的可持续性。

在三个公共动态环境数据集上进行的实验结果,即 semantic-kitti [1]ulhk-CA [32]urban-Nav,表明我们的方法在保留率 (PR)、拒绝率 (RR) 和绝对轨迹误差 (ATE) 方面取得了可比的性能,并且在极低的计算开销 (19ms/扫描) 方面显著优于在线动态点检测方法 [10, 38, 25, 33] 此外,在三个公共静态环境数据集上进行的实验结果,即 nclt [3]utbm [37]ulhk-HK [32],表明我们的 Dynamic-LIO 在静态场景中也优于最先进的 LIO 系统,因为其 ATE 更小。

总之,这项工作的主要贡献包括三个方面:1) 我们提出了一种标签一致性检测方法,用于快速识别 3D 动态点。 该方法避开了大量几何计算或全局统计的操作,从而实现了轻量级;2) 我们开发了一个 LIO 系统,并将提出的标签一致性检测方法以统一的方式集成到这个 LIO 中,通过消除重建地图中的幻影轨迹,提高了动态场景中位姿估计的精度;3) 我们已经发布了我们方法的源代码,以促进社区的发展111https://github.com/ZikangYuan/dynamic_lio

本文的其余部分结构如下。 II 节回顾了相关文献。 III 节提供了预备知识。 IV 节详细介绍了我们的标签一致性检测方法,第 V 节介绍了我们的系统 Dynamic-LIO,然后是第 VI 节的实验评估。 VII 节总结了本文。

II 相关工作

在本节中,我们回顾了关于现有无深度学习的 3D 动态点检测方法 [24, 8, 39, 18, 15, 27, 20, 5, 28, 38] 和当前主流针对静态和动态场景的 LIO 系统 [30, 26, 36, 12, 4, 6, 42, 41, 23, 25, 33, 34, 44] 的相关工作。 尽管有一些基于深度学习的 3D 动态点检测方法 [7, 21],但它们与这项工作关系不大,因此我们省略了对它们的详细讨论。

Pomerleau 等人 al. [24] 利用点的运动模式来表示相关性。 他们计算了每个 3D 点的运动模式并推断出地图中主要的运动模式,然后确定不符合运动模式的点作为动态点。 Dai 等。 人。 [8] 利用两点之间的相对位置来表示相关性,然后利用相对位置随时间的变化幅度作为一致性标准来识别动态点。 然而,在大型室外场景中计算运动模式和维护地图点相关性的计算开销是无法接受的。 Yoon 等。 人。 [39] 提出简单地将一次扫描与另一次扫描进行查询,并识别具有明显可见性差异的点作为动态点。 Removert [18] 提出了一种基于多分辨率范围图像的错误预测恢复算法。 该方法首先保守地保留确定的静态点,然后通过扩大查询到地图关联窗口的大小来迭代地恢复更多不确定的静态点。 然而,基于可见性的方法通常会遇到入射角模糊和遮挡问题。 此外,在基于可见性的方法中,在球面图像平面上生成多个投影以及为可见性方法中的每个点分配一个静态值都需要很高的计算开销。 OctoMap [15] 首次提出了一种框架来生成体积 3D 环境模型,该框架基于八叉树并使用概率占用估计。 给定一组已配准的 3D 点,Schauer 等。 人。 [27] 建立了一个规则的体素占用网格,然后沿着传感器和测量点之间的视线遍历它,以识别多个扫描之间体素占用的差异。 Erasor [20] 提出了称为伪占用的概念来表达单位空间的占用,然后区分不同占用的空间。 然后,采用区域地平面拟合 (R-GPF) 方法来区分可能包含动态点的候选 bin 内的静态点和动态点。 DORF [5] 提出了一种新颖的从粗到细的离线框架,该框架利用全局 4D 空间时间 LiDAR 信息来实现干净的静态点云地图生成。 DORF 首先利用后退视界采样 (RHS) 机制保守地保留了确定的静态点,然后在城市环境中动态对象的固有特征的引导下,逐渐恢复了更多模糊的静态点。 [28] 提议通过在在线机器人操作期间对传感、状态估计和映射限制进行建模和解释来增量估计高置信度自由空间区域。 它可以在复杂无结构环境中实现鲁棒的移动物体检测。 RH-Map [38] 提出了一个基于 3D 区域级哈希地图结构的新型地图构建框架,该框架采用两层 3D 区域级哈希地图结构和区域级地面平面估计来移除动态物体。 基于占用地图的方法通常伴随着最近邻搜索、置信度计算、占用概率统计、相对空间位置计算以及其他需要批量几何计算的操作,这会导致巨大的计算负担。

近年来,机器人社区中提出了各种 LIO 系统。 LIO-SAM [30] 首次将 LIO 形式化为因子图,允许将来自不同来源的循环闭合等多种相对和绝对测量值作为因子合并到系统中。 在 LIN [26] 中,在误差状态迭代卡尔曼滤波器 (ESIKF) 框架内完成了 6 轴 IMU 和 3D LiDAR 的开创性集成。 这种设计确保了系统的计算需求保持可处理。 基于数学基础,Fast-LIO [36] 采用了一种解决卡尔曼增益 [31] 的技术,绕过了对高阶矩阵求逆的需要,从而显着减轻了计算负担。 在 Fast-LIO 的进步基础上,Fast-LIO2 [35] 引入了一种创新的 ikd 树算法 [2] 与传统的 kd 树相比,该算法在树构建、遍历和元素删除等过程中提供了更少的时耗。 Point-LIO [12] 提出了一个点对点 LIO 框架,该框架在每个 LiDAR 点测量时更新状态,从而允许极高的输出频率。 DLIO [4] 提议在状态预测和点畸变校准领域内保留三阶最小值,从而促进更精确的姿态估计的获取。 IG-LIO [6] 将广义 ICP (GICP) 约束和惯性约束整合到一个统一的估计框架中。 此外,iG-LIO 采用基于体素的表面协方差估计器来估计扫描的表面协方差,并利用增量体素地图来表示周围环境的概率模型。 半弹性-LIO [42] 提出了一种基于半弹性优化的 LiDAR-惯性状态估计方法,该方法赋予状态足够的弹性,使其能够优化到正确的值。 SR-LIO [41] 采用了扫描重建方法 [43, 40],该方法对来自旋转 LiDAR 的原始输入扫描进行分割和重建,以获得更高频率的重建扫描。 因此,估计姿态的频率也随之提高。 Pfreundschuh 等。 人员 [23] 提出了一种端到端的基于占用网格的管道,该管道可以自动标记各种任意动态物体,并将该网络嵌入到 LiDAR 里程计系统中。 RF-LIO [25] 利用自适应多分辨率范围图像来首先去除动态物体,然后将 LiDAR 扫描与地图进行匹配以进行状态估计。 ID-LIO [33] 提出了一种基于索引点和延迟移除策略的 LiDAR-惯性里程计,用于动态场景,该方法建立在 LIO-SAM 基础上。 尽管 RF-LIO 和 ID-LIO 能够在动态场景中执行状态估计,但巨大的计算开销使其无法稳定地实时运行。

III 预备知识

III-A 坐标系

我们将 ()w()l()b 表示为世界坐标系、LiDAR 坐标系和 IMU 坐标系中的一个 3D 点。 世界坐标系与 ()b 在起始位置重合。

我们将在ti时间进行ith扫描的LiDAR坐标表示为li,将ti处对应的IMU坐标表示为bi,那么从libi的变换矩阵(即外部参数)记为𝐓libiSE(3),它由旋转矩阵𝐑libiSO(3) 和平移向量 𝐭libi3 外部参数通常在离线校准一次,并在在线姿态估计过程中保持不变。 因此,为了简单起见,我们可以将 𝐓libi 表示为 𝐓lb 从 IMU 坐标 ()bi 到世界坐标 ()w 的姿态严格定义为 𝐓biw

Refer to caption
图 2: 提出的标签一致性检测方法的说明和示例结果。 (a) 通过快速地面分割获得二值化标签,其中所有点被划分为地面点(即 (a-2) 和 (a-3) 中的橙色点)和非地面点(即 (a-2) 和 (a-3) 中的白色点)。 (b) 通过比较标签一致性和最近邻来确定动态点。 动态点所在的网格空间在过去没有被占用(即 (b-1) 中的绿色区域)。 因此,(b-2) 中的绿色点被检测为动态点,因为它们无法找到足够的最近邻。 被占用的网格空间并不完全包含静态点(即 (b-1) 中的粉色区域),可能有一些动态点与地面相邻。 因此,(b-2) 中的粉色点被检测为动态点,因为它们的标签与周围的地面点不一致。 (b-3) 和 (b-4) 中的蓝色点和红色点分别是全局地图中的地面点和非地面点。

III-B 体素地图管理

整个系统维护两个全局地图:跟踪地图和输出地图。 前者用于状态估计,而后者用于标签一致性检测,并作为最终的重建结果。 在 Dynamic-LIO 中,跟踪地图已经去除了绝大多数的动态点。 但是,为了防止过度过滤导致 LIO 几何信息不足,我们避免对跟踪地图进行进一步处理,而是专注于输出地图(如 Sec. IV-E 所示)。 因此,与跟踪地图相比,输出地图中的动态点被更彻底地移除。 跟踪地图和输出地图都由体素管理,体素分辨率为 1.0×1.0×1.0 (单位:m),每个体素最多包含 20 个点。

IV 标签一致性检测

标签一致性检测旨在规避批次几何计算和全局统计,这些计算和统计在现有的动态点检测方法中很普遍,从而促进快速识别 3D 动态点。 据我们所知,大多数现有方法主要涉及在最近邻搜索和一致性评估方面进行批次几何计算和全局统计。 因此,我们致力于在我们的方法中实现这两个方面的轻量级。

标签一致性检测的核心前提是,驾驶场景中的移动物体与地面接触。 在此前提下,我们首先通过从当前输入扫描中分割地面点来构建每个 3D 点的二值化标签(即地面标签和非地面标签)(如图 2 (a) 所示)。 所有地面点本质上都是静止的,潜在的动态点仅存在于非地面点中。 如果我们已经准备好了前一刻的静态全局地图,除了要添加的距离更远的点之外,当前时刻的每个静态点都可以在地图更新期间在全局地图中找到其对应的最近邻。 对于从移动物体扫描的 LiDAR 点,全局地图中缺乏结构信息会阻止当前位置与空间中任何现有的静态几何结构重合。 (如图 2 (b-1) 中的绿色区域所示)。 因此,大多数从移动物体扫描的 LiDAR 点在配准过程中通常无法找到最近邻,我们将这些点识别为动态点(如图 2 (b-2) 中的绿色点所示)。 至于剩下的 LiDAR 点的小子集(如图 2 (b-2) 中的粉色点所示),它们可能会找到地面点作为其最近邻。 然后,我们根据最近邻中地面点的比例来确定是否将它们分类为动态点。 很明显,在评估标签一致性的整个过程中,我们只需要计算最近邻中地面点的比例,而无需进行任何批次几何计算和全局统计。 此外,我们利用基于体素位置的最近邻搜索来获取最近邻,这些最近邻可以直接定位,无需进行任何定量几何距离计算。 这两个核心方面的轻量级确保了我们方法的低计算开销。 一旦识别出当前时刻的动态点,我们利用 LIO 估计的姿态将静态点注册到全局地图中,以完成地图更新,这可以用于识别下一扫描的动态点,从而确保我们方法的可持续性。

特别地,标签一致性检测方法分为五个步骤:二值化标签构建、背景分离、基于体素位置的最近邻搜索、动态点确定和未确定点重新确定。 下面,我们将对每个步骤进行详细描述。

Refer to caption
图 3: (a) 二值化标签构建的图示。 当前扫面的 3D 点被放置在一个范围图像中,并且利用递归 2D 连通分量方法来识别地面点。 (b) 来自当前输入扫面的分割地面点的可视化。 橙色点代表地面点,白色点代表非地面点。

IV-A 二值化标签构建

在动态点识别之前,我们首先为当前扫面的每个 3D 点构建二值化描述符,即地面标签和非地面标签。 我们利用一种快速 2D 连通分量方法 [14],与 LeGO-LOAM [29] 相同,以极低的计算成本将地面点与当前输入扫面分离。 默认情况下,LiDAR 水平安装在车辆上,LiDAR 的 z 轴垂直于地面。 如果 LiDAR 以倾斜角度安装,则可以引入外部参数以确保 z 轴保持垂直。 z轴改为垂直方向后,我们将范围图像img[22]配置为以LiDAR线数(Nscan,如图3(a)所示)作为纵轴,以水平分辨率(horizonscan,如图3(a)所示)作为横轴,并将当前扫描的3D点根据其水平和垂直线索引放置在范围图像中的相应位置。 距离图像中,每个点在()l中配备有xyz坐标,以及一个布尔变量tag,用于表示该点是否为地面点。 最初,所有tag都设置为false。 我们将点img(1,1)处的tag设置为true 然后,沿着图3(a)中所示的红色箭头,我们分别计算相邻位置img(1,2)img(2,1)处两个3D点的俯仰角,相邻位置指的是img(1,1)处。 然后,img(2,1)img(1,1)的俯仰角可以计算为:

diffx=img(2,1).ximg(1,1).xdiffy=img(2,1).yimg(1,1).ydiffz=img(2,1).zimg(1,1).zpitch=arctan(diffz,sqrt(diffx+2diffy)2) (1)

如果计算出的俯仰角小于某个阈值(例如,在我们系统中为5度),则img(2,1).tag设置为true,这意味着相应的3D点被确定为地面点。 同样,我们可以计算img(1,2)img(1,1)的俯仰角,并为img(1,2).tag设置值。 如果位于img(1,2)img(2,1)的3D点被确定为地面点,则我们沿着图3(a)中所示的蓝色箭头来识别与它们相邻的其他点。 整个过程递归执行,直到范围图像中的所有像素都被访问或递归退出条件满足。 分割后的地面点的可视化结果如图3(b)所示,其中橙色点被标记为“地面点”,白色点被标记为“非地面点”。

IV-B 背景分离

在执行标签一致性检测的过程中,需要找到当前扫描的每个点的最近邻点。 靠近车辆平台的点可以可靠地找到它们的最近邻点,而更远的点则可能由于其位置重建不完整而无法找到。 在室外驾驶场景中(排除极端遮挡),车辆平台周围30米半径内的地图结构通常已经重建完成。 因此,我们设定了 30 米的经验阈值,并将距离车辆平台 30 米以内的点定义为前点,而超出 30 米的点定义为后点。 对于前点和后点,我们采用了专门针对其特征的确定方法。

IV-C 基于体素位置的最近邻搜索

Refer to caption
图 4: (a) 传统 8 近邻搜索的示意图。 将 8 个最近邻体素内的所有点与到 𝐩w 的距离进行比较,并选择 20 个最接近的点作为最近邻(简单地用 5 个黄色点表示)。 (b) 基于体素位置的最近邻搜索的示意图。 直接定位 𝐩w 所属的体素 V,并将 V 中的所有点(不超过 20 个)视为最近邻(简单地用 5 个黄色点表示)。

对于具有“非地面点”标签的特定点 𝐩w,为了确定其标签是否与全局地图中周围点的标签一致,我们首先需要搜索 𝐩w 的最近邻。 一个直观的替代方案是使用 8 近邻搜索,它与 LIO 中用于点到平面距离计算的最近邻搜索方法相同(如图 4 (a) 所示)。 特别地,我们定位了 𝐩w 所属的体素 V 以及与 V 相邻的 8 个体素,并将这些体素中的所有点设为候选点。 随后,通过比较到 𝐩w 的欧几里德距离的大小,从 9 个候选体素中识别出 𝐩w 的 20 个最近邻点。

然而,计算每个候选点到 𝐩w 的欧几里德距离是一个非常耗时的过程。 当 LIO 建立点到平面距离残差时,为了确保拟合平面能够尽可能多地反映 𝐩w 周围的几何信息,我们必须使用传统的 8 近邻搜索。 幸运的是,我们的系统只需要 600 个点到平面距离残差来估计每次扫描的位姿,因此总的计算开销是可以接受的。 然而,为了确保最终输出地图不包含动态点,有必要确定当前扫描的每个点,这需要从全局地图中搜索每个点的最近邻。 一次 32 线 LiDAR 扫描可以产生超过 50,000 个点,这使得传统的 8 个最近邻搜索在此不可行。

在提出的标签一致性检测方法中,我们通过比较非地面点 𝐩w 的标签与其周围点的标签来定性地评估其是否是动态点。 由于周围点不参与定量计算,因此不需要严格满足最近邻的概念。 相反,可以采用一种近似方法,即基于体素位置的最近邻搜索,以显著降低计算成本。 如图 4 (b) 所示,我们定位 𝐩w 所属的体素 V,并将 V 内的其他点视为近似最近邻。 由于体素地图具有计算复杂度为 O(1) 的查询操作,因此整个最近邻搜索过程非常快。 此外,与欧几里德距离相关的计算开销也得到了节省。 基于体素位置的最近邻搜索在确保标签一致性检测的低计算成本方面起着至关重要的作用,这从消融研究的结果中可以得到证明,这些结果记录在第 VI-G 节中。

Refer to caption
图 5: 前方点动态点确定结果的可视化。 白色遮蔽的区域是背景区域,而可见的区域是前景区域。 橙色和白色点分别代表当前扫描的地面点和非地面点,蓝色和红色点分别对应于全局地图的地面点和非地面点。 绿色点是识别的动态点。

IV-D 动态点确定

在第 IV-B 节中,我们将当前扫描中的点根据其与车辆平台的距离分为前点和后点。 为了动态地确定前点和后点,我们采用了以下两种不同的模式。

前点模式。 如果最近邻的数量低于某个阈值(在我们系统中为 5),则表明 𝐩w 的位置最初是空闲的,因此 𝐩w 被分类为动态点。 如果最近邻的数量足够大(大于 5),我们计算所有最近邻中非地面点的比例。 如果该比例足够低(小于 30%),则 𝐩w 被分类为静态点,并添加到跟踪地图和输出地图中。 相反,如果该比例大于 30%,则 𝐩w 被分类为动态点,并从地图中排除。 不可避免地,这种确定标准可能会导致错误地移除一些靠近地面的静态点。 然而,最常受到这种误过滤影响的点位于墙壁和地面之间的过渡区域。 尽管存在这种误过滤的可能性,但场景的整体几何完整性仍然保持不变,并且不会影响 LIO 系统的性能。 前点的动态点确定结果可视化如图 5 所示。

Refer to caption
图 6: 后点的动态点确定结果可视化。 白色遮挡的区域是前景区域,而仍然可见的区域是背景区域。 橙色和白色点代表当前扫描的地面点和非地面点,蓝色和红色点分别代表全局地图的地面点和非地面点。 绿色点是已识别的动态点,粉色点是未确定的点,需要在它们周围的地图重建后重新确定。

后向点的模式。 如果最近邻的数量低于某个阈值(在我们系统中为 5),我们无法将后向点识别为动态点,因为该位置可能尚未重建,从而无法获取最近邻。 这些点被标记为未确定点,一旦车辆平台继续移动并恢复这些点位置的几何结构,就会做出判断。 为了确保在状态估计过程中新获取的点云能够正确配准,有必要将未确定点纳入跟踪地图。 这不会显着影响状态估计的准确性,因为即使后向点中存在动态物体,扫描到它们上的 LiDAR 点数量也非常稀疏。 关于最终输出地图,必须确保它包含尽可能少的动态点,因此将随后进行对未确定点的判断。 当最近邻的数量足够大(大于 5)时,处理方法与前向点相同,静态点将被添加到跟踪地图和输出地图中。 后向点动态点判定结果的可视化如图 6 所示。

IV-E 未确定点重新判定

Refer to caption
图 7: 未确定点动态点判定结果的可视化。 蓝色和红色点对应于全局地图的地面点和非地面点。 随着车辆平台继续向前移动,先前未重建的全局地图位置的几何结构信息被恢复。 然后可以通过标签一致性检测重新确定未确定点。

如第 IV-D 节所述,由于其位置的重建不完整,一些后向点可能无法找到最近邻。 对于此类点,我们将其标记为未确定点,并将其放置在一个容器中。 当车辆平台继续前进时,先前未重建位置的几何结构信息被恢复(如图 7 所示)。 然后,我们可以对这些未确定点进行重新判定。 当未确定点容器中的一个点 𝐩uw 接近车辆平台的当前位置(小于 30 米)时,𝐩uw 周围的几何结构信息很可能已被重建。 然后,我们可以确定 𝐩uw 是否为动态点。 如果最近邻点的数量低于某个阈值(在我们系统中为 5),则表明 𝐩uw 的位置最初是空的,导致 𝐩uw 被归类为动态点。 如果最近邻点的数量大于 5 的阈值,则我们计算所有最近邻点中非地面点的比例。 如果此比例足够低(小于 30%),则将其分类为静态点并添加到输出地图中。 相反,如果该比例不小于 30% 的阈值,则将其分类为动态点,并且不会包含在输出地图中。 如果一个未确定点在连续 10 次扫描中与车辆平台位置的距离超过 30 米,则它很可能是一个远处稀疏的背景点。 因此,我们直接将其分类为静态点并将其添加到输出地图中。

V 我们的系统 Dynamic-LIO

V-A 系统概述

Refer to caption
图 8: 我们的 Dynamic-LIO 的概述,它包含四个主要模块:云处理、静态初始化、基于 ESIKF 的状态估计和动态点识别。 黄色的矩形表示与标签一致性检测相关的系统操作。

8 说明了我们自主研发的系统 Dynamic-LIO 的框架,该框架由四个主要模块组成:云处理、静态初始化、基于 ESIKF 的状态估计和动态点识别。 云处理模块为当前扫描的每个 3D 点构建二值化标签(即地面标签或非地面标签)。 随后,它执行空间下采样以确保当前点云的均匀密度。 静态初始化模块 [11] 利用 IMU 测量结果来估计一些状态参数,例如重力加速度、加速度计偏差、陀螺仪偏差和初始速度。 基于 ESIKF 的状态估计模块估计当前扫描的状态,并利用估计的姿态将当前扫描的所有点从 ()l 转换为 ()w。动态点识别模块从当前输入点云数据中识别动态点,以确保全局地图只包含静态点。 黄色的矩形表示整个系统框架中标签一致性检测五个步骤的具体位置。

V-B 下采样

为了减轻由 LiDAR 在一次扫描中收集的大量 3D 点带来的巨大计算量,我们在点云上实现了十进制策略。 首先,应用均匀子采样方法,每组四个点保留一个点。 随后,我们将均匀子采样的点整合到一个由 0.5×0.5×0.5(单位:m)分辨率定义的体素网格中,确保每个体素只包含一个点。

值得注意的是,当前输入扫描的下采样必须在二值化标签构建之后进行。 原因是下采样会破坏距离图像中 3D 点的邻接关系,这会影响二值化标签构建的执行。

V-C 静态初始化

在我们的 Dynamic-LIO 中,采用静态初始化过程来估计基本参数,包括初始姿态、初始速度、重力以及加速度计和陀螺仪测量中的偏差。 有关方法的详细阐述,请参阅参考文献 [11]

V-D 基于 ESIKF 的状态估计

我们采用误差状态迭代卡尔曼滤波器 (ESIKF) 来执行状态估计,这与 Fast-LIO2 [35] 相同。 Fast-LIO2 利用他们自己开发的工具箱 IKFoM [13] 来实现流形上的卡尔曼滤波,而我们则利用更广为人知的 Eigen3 库 [9] 来实现此功能。 我们已经在附录中记录了 ESIKF 的整个执行过程,以便读者参考实现细节。

值得一提的是,在状态估计期间,我们需要从全局地图中找到当前扫描中随机选择的 600 个点的最近邻,并使用这些最近邻拟合平面来构建点到平面距离约束。 为了确保最终拟合的平面尽可能准确地反映周围的几何信息,我们在这里仍然使用传统的 8 个最近邻搜索方法。 此外,我们根据跟踪地图搜索最近邻。 与输出地图相比,跟踪地图更有利于 LIO 的准确和稳健运行。 因为跟踪地图保留了足够的几何细节,同时去除了绝大多数动态点。

VI 实验

我们在六个自动驾驶场景数据集上评估了我们方法的整体性能:semantic-kitti [1]ulhk-CA [32]urban-Nav [16]nclt [3]utbm [37]ulhk-HK [32] 其中,semantic-kittiulhk-CAurban-Nav 是三个在动态场景中收集的公共数据集,ncltutbmulhk-HK 是三个在静态场景中收集的公共数据集。 semantic-kitti 是由 64 线 Velodyne LiDAR 收集的,每个 LiDAR 点都有其独特的语义标签。 因此,semantic-kitti 用于评估所提出的基于标签一致性的动态点检测和去除方法的保留率 (PR) 和拒绝率 (RR)。 ulhk-CA 由 32 线 Robosense LiDAR 和 IMU 收集,urban-Nav 由 32 线 Velodyne LiDAR 和 IMU 收集。 这两个数据集用于评估动态点检测和去除方法在姿态估计方面的改进,改进指标为绝对轨迹误差 (ATE)。 ncltutbmulhk-HK 均由 32 线 Velodyne LiDAR 和 IMU 收集。 这三个数据集用于展示我们自主研发的 LIO 系统的出色性能,并证明所提出的动态点检测和去除方法对静态场景中 LIO 的精度没有负面影响。 本节中使用的所有 24 个序列的详细信息,包括名称、持续时间和是否包含动态对象,如表 I 所示。 所有实验均使用配备英特尔酷睿 i7-11700 和 32 GB 内存的消费级计算机。

表 I: 所有评估序列的数据集
Name
Duration
(min:sec)
Whether Dynamic
Objects are Included
kitti_1 semantic-kitti-00 00:14 Yes
kitti_2 semantic-kitti-01 00:10 Yes
kitti_3 semantic-kitti-02 00:09 Yes
kitti_4 semantic-kitti-05 00:33 Yes
kitti_5 semantic-kitti-07 00:20 Yes
ulhk_1 CA-MarktStreet 24:35 Yes
ulhk_2 CA-RussianHill 26:57 Yes
urban_1 TST 13:05 Yes
urban_2 Whampoa 25:37 Yes
nclt_1 2012-01-08 92:16 No
nclt_2 2012-02-02 98:37 No
nclt_3 2012-02-04 77:39 No
nclt_4 2012-05-11 83:36 No
nclt_5 2012-05-26 97:23 No
nclt_6 2012-06-15 55:10 No
nclt_7 2012-08-04 79:27 No
nclt_8 2012-09-28 76:40 No
utbm_1 2018-07-19 15:26 No
utbm_2 2019-01-31 16:00 No
utbm_3 2019-04-18 11:59 No
utbm_4 2018-07-20 16:45 No
utbm_5 2018-07-13 16:59 No
ulhk_3 HK-2019-01-17 05:18 No
ulhk_4 HK-2019-04-26-1 02:30 No

VI-A PR 和 RR 与最先进技术的比较

我们将基于标签一致性的动态点检测方法与三种最先进的基于 3D 点的动态点检测方法进行比较,即 Removert [18]、Erasor [20] 和 Dynamic Filter [10],在 semantic-kitti 数据集 [1] 上进行比较。 其中,Removert 和 Erasor 是离线方法,需要预先构建的地图作为输入;Dynamic Filter 和我们的方法是在线方法,不依赖于任何先验信息。

表 II: 与最先进方法的 PR 比较(单位:%
offline online
Removert Erasor Dynamic Filter Ours
kitti_1 86.83 93.98 90.07 90.36
kitti_2 95.82 91.49 87.95 88.43
kitti_3 83.29 87.73 88.02 88.25
kitti_4 88.17 88.73 90.17 90.31
kitti_5 82.04 90.62 87.94 89.28
表 III: 与最先进方法的 RR 比较(单位:%
offline online
Removert Erasor Dynamic Filter Ours
kitti_1 90.62 97.08 91.09 90.73
kitti_2 57.08 95.38 87.69 88.41
kitti_3 88.37 97.01 86.10 86.22
kitti_4 79.98 98.26 84.65 85.84
kitti_5 95.50 99.27 86.80 87.34

II 和表 III 中的结果表明,就更高的 PR 和 RR 而言,我们的方法在几乎所有序列中都优于动态过滤器。 尽管动态过滤器在序列 kitti_1 上实现了比我们方法更高的 RR,但我们的结果非常接近他们的结果,仅相差 0.36%

VI-B 与最先进技术的 ATE 比较

我们将我们的 Dynamic-LIO 与两种最先进的动态场景 LIO 系统进行比较,即 RF-LIO [25] 和 ID-LIO [33],在 ulhk-CA [32]urban-Nav [16] 数据集上。 RF-LIO 和 ID-LIO 都具有循环检测模块,并使用 GTSAM [17] 来优化因子图。 因此,在与它们比较时,我们还在 Dynamic-LIO 中添加了相同的循环检测模块和全局优化模块。 RF-LIO 和 ID-LIO 的结果都是从他们的文献中记录的,因为他们没有发布代码。 所选择的四个序列都包含高度动态的场景,可以有效地评估 LIO 系统在动态场景中的性能。

表 IV: 与动态场景数据集上最先进方法的 ATE 比较的 RMSE(单位:m)
RF-LIO ID-LIO Ours
ulhk_1 15.89 28.02 12.96
ulhk_2 12.17 15.34 4.84
urban_1 - 1.06 3.90
urban_2 - 3.45 6.66
  • 注释 :”-” 表示相应的值不可用。

IV 中的结果表明,我们的 Dynamic-LIO 在 ulhk_1ulhk_2 上的精度优于 RF-LIO 和 ID-LIO。 由于 RF-LIO 既没有开源,也没有在 urban-Nav 数据集上进行测试,因此我们无法获得其在序列 urban_1urban_2 上的结果。 尽管 ID-LIO 在 urban-Nav 数据集上实现了比我们的系统更小的 ATE,但我们开源代码的行为更好地证明了我们结果的可重复性。

我们还将我们的 Dynamic-LIO 与六种针对静态场景的最新 LIO 系统进行了比较,即 LiLi-OM [19]、LIO-SAM [30]、Fast-LIO2 [35]、DLIO [4]、IG-LIO [6] 和 Point-LIO [12],在 nclt [3]utbm [37]ulhk-HK [32] 数据集上,以证明我们的 Dynamic-LIO 在静态场景中仍然具有出色的姿态估计性能。 我们比较的六种方法都发布了相应的代码,因此我们基于作者提供的源代码获得了他们的结果。

表 V: 最新方法在静态场景数据集上的 ATE RMSE 比较(单位:米)
LiLi- OM LIO- SAM Fast- LIO2 DLIO IG- LIO Point- LIO Ours
nclt_1 50.71 1.85 3.57 3.27 1.85 2.55 1.54
nclt_2 91.86 7.18 2.00 1.80 1.72 2.45 1.74
nclt_3 92.93 2.16 2.77 5.35 2.92 5.31 2.23
nclt_4 185.24 × 2.46 3.14 1.84 11.24 1.67
nclt_5 141.83 × 2.60 12.44 2.12 14.89 2.24
nclt_6 50.42 2.97 2.37 2.98 1.82 4.39 2.05
nclt_7 137.05 2.26 2.59 7.84 2.40 16.28 2.13
nclt_8 × × 2.65 7.72 1.72 16.22 1.66
utbm_1 67.16 - 15.13 14.25 17.37 22.71 13.92
utbm_2 38.17 - 21.21 13.85 21.27 23.02 16.09
utbm_3 10.70 - 10.81 55.28 13.75 13.81 9.10
utbm_4 70.98 - 15.20 18.05 16.44 21.76 9.63
utbm_5 62.57 - 13.24 14.95 × 19.88 9.63
ulhk_3 × 1.68 1.20 2.44 1.15 1.07 1.03
ulhk_4 3.11 3.13 3.24 × 3.31 2.82 3.08
  • 表示 : “×” 表示该系统无法在相应的序列上完全运行,“-” 表示相应的数值不可用。

表 VI: 未确定点的对 PR 的影响(单位:%
Ours w/o Considering Undetermined-Points Ours
kitti_1 90.09 90.36
kitti_2 88.17 88.43
kitti_3 87.59 88.25
kitti_4 89.31 90.31
kitti_5 88.43 89.28
表 VII: 未确定点的对 RR 的影响(单位:%
Ours w/o Considering Undetermined-Points Ours
kitti_1 90.05 90.73
kitti_2 87.86 88.41
kitti_3 86.22 86.22
kitti_4 84.08 85.84
kitti_5 87.30 87.34
表 VIII: 去除动态点对 ATE 的影响(单位:米)
Ours w/o Removing
Dynamic Points
Ours
Dynamic Scenes ulhk_1 13.98 12.96
ulhk_2 4.88 4.84
urban_1 5.21 3.90
urban_2 9.19 6.66
Static Scenes nclt_1 1.60 1.54
nclt_2 1.77 1.74
nclt_3 2.23 2.23
nclt_4 2.55 1.67
nclt_5 2.44 2.24
nclt_6 1.93 2.05
nclt_7 2.06 2.13
nclt_8 1.92 1.66
utbm_1 13.76 13.92
utbm_2 17.05 16.09
utbm_3 9.66 9.10
utbm_4 12.97 9.63
utbm_5 9.74 9.63
ulhk_3 1.04 1.03
ulhk_4 3.31 3.08
表 IX: 最新方法在 Semantic-Kitti 数据集上的时间消耗比较(单位:毫秒)
Dynamic Filter (Front-End) RH-Map Ours
kitti_1 55.71 63.96 41.60
kitti_2 93.23 34.93
kitti_3 66.98 46.00
kitti_4 64.61 34.87
kitti_5 51.02 27.61
CPU model i7-8559U i7-12700H i7-11700
clock speed 2.7GHz 2.7Ghz 2.5GHz
表 X: 与 ULHK-CA 和 Urban-Nav 数据集上最先进的 LIO 系统的时间消耗比较(单位:毫秒)
RF-LIO ID-LIO Ours
ulhk_1 96 121 23.33
ulhk_2 121 100 21.50
urban_1 - 96 16.46
urban_2 - 99 16.41
CPU model i5 i7-10700K i7-11700
clock speed 1.33.7GHz 3.8GHz 2.5GHz
  • 表示 : “-” 表示相应的值不可用。

表 XI: 每个模块的时间消耗(单位:毫秒)
Cloud Processing State Estimation Label Consistency Detection Sum
Binarized Label Construction Dynamic Point Identification Total
kitti_1 7.49 27.98 1.85 4.28 6.13 41.60
kitti_2 2.01 24.57 1.84 6.51 8.35 34.93
kitti_3 7.11 36.07 1.88 0.94 2.82 46.00
kitti_4 7.66 18.93 1.85 6.43 8.28 34.87
kitti_5 7.94 19.67 1.80 1.21 3.01 27.61
ulhk_1 5.45 13.48 0.53 3.87 4.40 23.33
ulhk_2 8.30 13.20 0.68 0.45 1.13 21.50
urban_1 6.07 7.31 1.27 1.81 3.08 16.46
urban_2 7.14 7.03 1.33 0.91 2.24 16.41
nclt_1 5.76 21.78 0.70 0.65 1.35 28.89
nclt_2 6.38 23.12 0.75 0.50 1.25 30.75
nclt_3 5.91 22.20 0.72 0.75 1.47 29.58
nclt_4 5.09 20.31 0.67 0.59 1.26 26.66
nclt_5 5.12 19.81 0.68 0.60 1.28 26.21
nclt_6 6.52 20.48 0.78 0.76 1.54 28.54
nclt_7 5.97 24.43 0.74 0.58 1.32 31.72
nclt_8 5.07 19.64 0.65 0.74 1.39 26.10
utbm_1 5.03 14.23 1.01 1.51 2.52 21.78
utbm_2 4.79 16.91 0.97 1.83 2.80 24.50
utbm_3 4.45 14.27 0.90 2.28 3.18 21.90
utbm_4 4.92 14.51 0.99 1.20 2.19 21.62
utbm_5 5.01 15.14 0.97 1.42 2.39 22.54
ulhk_3 6.54 11.05 0.98 0.39 1.37 18.96
ulhk_4 6.91 9.22 1.28 2.03 3.31 19.44
表 XII: 最近邻搜索方法对标签一致性检测时间消耗的影响(单位:毫秒)
LCD with 8-Nearest
Neighbor Search
LCD with our
Nearest Neighbor Search
kitti_1 78.53 6.13
kitti_2 115.99 8.35
kitti_3 81.04 2.82
kitti_4 43.22 8.28
kitti_5 46.63 3.01
ulhk_1 21.69 4.40
ulhk_2 21.58 1.13
urban_1 15.20 3.08
urban_2 15.50 2.24
nclt_1 8.76 0.65
nclt_2 9.04 0.50
nclt_3 8.78 0.75
nclt_4 8.88 0.59
nclt_5 9.35 0.60
nclt_6 9.42 0.76
nclt_7 9.05 0.58
nclt_8 8.63 0.74
utbm_1 11.50 1.51
utbm_2 10.56 1.83
utbm_3 11.44 2.28
utbm_4 12.47 1.20
utbm_5 10.92 1.42
ulhk_3 9.54 0.39
ulhk_4 18.16 2.03
  • 表示 : ”LCD” 是 ”标签一致性检测” 的缩写。

V 中的结果表明,我们的动态-LIO 在超过一半的序列中,在更小的 ATE 方面优于最先进的技术。 尽管 IG-LIO 在 nclt 数据集上取得了与我们的系统相当的结果,但它在 utbm 数据集上表现出较差的准确性。 此外,虽然我们的准确率在 nclt_2nclt_3nclt_5nclt_6ulhk_4 上不是最好的,但我们非常接近最佳准确率。 “-” 表示相应的值不可用。 LIO-SAM 需要 9 轴 IMU 数据作为输入,而 utbm 数据集仅提供 6 轴 IMU 数据。 因此,我们无法在 utbm 数据集上提供 LIO-SAM 的结果。 ×” 表示系统在相应序列上完全无法运行。 除了我们的系统 Fast-LIO2 和 Point-LIO 之外,其他系统在多个序列上都出现了故障,这也证明了我们系统的稳健性。

VI-C 未确定点消融研究

在我们的系统中,引入未确定点的目的是尽可能地去除动态点,从而提高输出地图中静态点的比例。 在本节中,我们将通过比较我们的 Dynamic-LIO 在考虑和不考虑未确定点的情况下得到的 PR 和 RR 值来验证引入未确定点的必要性。

VI 和表 VII 中的结果表明,引入未确定点可以略微提高我们动态点检测和去除方法的 PR 和 RR。

VI-D 姿态估计动态点去除消融研究

在本节中,我们将通过比较我们的 Dynamic-LIO 在去除和不去除动态点的情况下得到的 ATE 结果来评估去除动态点对姿态估计的有效性。

VIII 中的结果表明,去除动态点可以提高我们的 Dynamic-LIO 在动态场景中的姿态估计精度,特别是在 urbanNav 数据集上。 在静态场景中,我们基于标签一致性的动态点检测和去除方法不会对姿态估计精度产生负面影响,这也反映了该方法的稳健性和实用性。

VI-E 与最先进方法的时间消耗比较

我们将我们基于标签一致性的动态点检测和去除方法与两种最先进的在线 3D 基于点的动态点检测和去除方法(即 Dynamic Filter [10] 和 RH-Map [38])在 semantic-kitti 数据集 [1] 上的时间消耗进行了比较。 然后,我们将我们 Dynamic-LIO 的时间消耗与 RF-LIO 和 ID-LIO 的时间消耗进行比较。 其他方法的结果都是从他们的文献中记录的,因为他们没有发布代码。

表格 IX 中的结果表明,我们的动态点检测和去除方法的耗时远小于 Dynamic Filter 和 RH-Map。 Dynamic Filter 的前端需要 55.71ms 来处理单次扫描的数据。 考虑到后端开销,处理单次扫描的总时长将会更长。 鉴于当前 LiDAR 的采集频率通常在 1020Hz 之间,这意味着单次扫描的处理时间必须在 50ms 以内才能确保实时性能。 可以看出,Dynamic Filter 和 RH-Map 都无法保证实时能力,而我们的方法可以稳定地实时运行。 由于 semantic-kitti 数据集不包含 IMU 数据,我们在 LiDAR 独占里程计模式下完成位姿估计和地图构建,同时在线检测和去除动态物体。 因此,表格 IX 中记录的耗时代表了 LiDAR 独占里程计和动态点检测与去除的总时间成本,Dynamic Filter 和 RH-Map 的结果相同。 虽然测试平台并不完全相同,但用于测试 Dynamic Filter 和 RH-Map 的 CPU 的时钟速度高于我们使用的 CPU。 这在一定程度上也证明了我们实验结果的参考价值。 表格 X 中的结果表明,我们 Dynamic-LIO 的耗时远小于 RF-LIO [25] 和 ID-LIO [33],而我们的系统运行速度比 RF-LIO 和 ID-LIO 快约 5 倍。 由于 RF-LIO 既没有开源也没有在 urban-Nav 数据集上进行测试,我们无法获得其在序列 urban_1urban_2 上的结果。 如 ID-LIO [33] 中所述,作者使用 i5 CPU 测试了他们的系统。 然而,[33] 中没有提供具体型号,因此我们在表格 X 中记录了整个 i5 系列 CPU 的时钟速度范围。 此外,虽然 i7-11700 在线程数方面比 i5 系列和 i7-8559U 更有优势,但我们整个 Dynamic-LIO 系统都是基于单线程实现的,没有利用多线程功能。

Refer to caption
图 9: (a) 和 (b) 是我们估计的轨迹与示例序列 nclt_1ulhk_3 上的地面真值之间的比较结果。
Refer to caption
图 10: (a) 去除动态点之前的输出图;(b) 去除示例序列 kitti_04 的动态点后的输出图的视觉化。 绿色点是移动物体的幻影轨迹。

VI-F 每个模块的时间消耗

我们评估了系统针对所有测试序列的运行时间细分(单位:ms)。 对于每个序列,我们测试了云处理(二值化标签构建除外)、状态估计和标签一致性检测的时间消耗。 标签一致性检测模块可以进一步分解为两个子步骤:二值化标签构建和动态点识别。 表格 XI 中的结果显示,我们的系统只需要 19ms 就可以识别出一个扫描中的动态点,而完成 LIO 所有任务的总时长为 1646ms。 这意味着我们的方法可以在 LIO 系统中以极低的计算开销完成动态点检测和移除。

VI-G 最近邻搜索的消融研究

如第 IV-C 节所述,与传统的 8-最近邻搜索相比,基于体素位置的最近邻搜索可以显着降低标签一致性检测中最近邻搜索所需的计算成本。 本小节将提供定量的比较结果来证实这一结论。

表格 XII 表明,我们采用的基于体素位置的最近邻搜索与传统的 8-最近邻搜索相比,在时间消耗上实现了数量级的降低,主要原因如下:(1)基于体素位置的最近邻搜索只需要处理当前点所属的体素,而 8-最近邻搜索则需要处理当前点所属的体素及其八个相邻体素;(2)基于体素位置的最近邻搜索不需要计算候选点与当前点之间的欧氏距离。

VI-H 轨迹和地图的可视化

我们可视化了系统估计的轨迹和局部点云地图。 9 (a) 和 (b) 显示了我们估计的轨迹和示例序列 nclt_1ulhk_3 的地面真值的比较结果,其中我们估计的轨迹和地面真值几乎完全重合。 10 显示了我们的 Dynamic-LIO 在示例序列 kitti_04 上重建静态点云地图的能力。 如图 10 (a) 所示,在去除动态点之前,移动物体(绿色点)的虚影轨迹在地图上清晰可见。 如图 10 (b) 所示,在去除动态点之后,输出地图几乎不再包含虚影轨迹。

VII 结论

本文提出了一种具有标签一致性检测的 LIO 系统,该系统可以快速消除运动物体在驾驶场景中的影响。 与现有方法(涉及批量几何计算或全局统计信息以识别移动物体)不同,所提出的方法更轻量级。 具体来说,该方法为当前扫描的每个点构建二值化标签,并利用每个点与其在地图中的周围点的标签差异来识别移动物体。 首先,采用快速二维连通分量方法为当前扫描的每个点构建二值化标签,即地面和非地面。 鉴于驾驶场景中的运动物体位于地面上,当比较当前扫描中非地面点的标签与其在地图中的最近邻时,会出现不一致。 同时,我们建议利用基于体素位置的最近邻来实现快速最近邻搜索。 此外,我们将提出的标签一致性检测方法嵌入到一个自研的 LIO 中,该 LIO 可以准确地估计状态,并以极低的时耗排除动态物体的干扰。

实验结果表明,提出的标签一致性检测方法可以实现与最先进的动态点检测和去除方法相当的 PR 和 RR,同时保证更低的计算成本。 此外,我们的 Dynamic-LIO 的运行速度大约是针对动态场景的最先进 LIO 系统的 5 倍,并且在动态和静态场景中都实现了最先进的姿态估计精度。

参考文献

  • [1] J. Behley, M. Garbade, A. Milioto, J. Quenzel, S. Behnke, C. Stachniss, and J. Gall, “Semantickitti: A dataset for semantic scene understanding of lidar sequences,” in Proceedings of the IEEE/CVF international conference on computer vision, 2019, pp. 9297–9307.
  • [2] Y. Cai, W. Xu, and F. Zhang, “ikd-tree: An incremental kd tree for robotic applications,” arXiv preprint arXiv:2102.10808, 2021.
  • [3] N. Carlevaris-Bianco, A. K. Ushani, and R. M. Eustice, “University of michigan north campus long-term vision and lidar dataset,” The International Journal of Robotics Research, vol. 35, no. 9, pp. 1023–1035, 2016.
  • [4] K. Chen, R. Nemiroff, and B. T. Lopez, “Direct lidar-inertial odometry: Lightweight lio with continuous-time motion correction,” in 2023 IEEE International Conference on Robotics and Automation (ICRA).   IEEE, 2023, pp. 3983–3989.
  • [5] Z. Chen, K. Zhang, H. Chen, M. Y. Wang, W. Zhang, and H. Yu, “Dorf: A dynamic object removal framework for robust static lidar mapping in urban environments,” IEEE Robotics and Automation Letters, 2023.
  • [6] Z. Chen, Y. Xu, S. Yuan, and L. Xie, “ig-lio: An incremental gicp-based tightly-coupled lidar-inertial odometry,” IEEE Robotics and Automation Letters, vol. 9, no. 2, pp. 1883–1890, 2024.
  • [7] T. Cortinhal, G. Tzelepis, and E. Erdal Aksoy, “Salsanext: Fast, uncertainty-aware semantic segmentation of lidar point clouds,” in Advances in Visual Computing: 15th International Symposium, ISVC 2020, San Diego, CA, USA, October 5–7, 2020, Proceedings, Part II 15.   Springer, 2020, pp. 207–222.
  • [8] W. Dai, Y. Zhang, P. Li, Z. Fang, and S. Scherer, “Rgb-d slam in dynamic environments using point correlations,” IEEE transactions on pattern analysis and machine intelligence, vol. 44, no. 1, pp. 373–389, 2020.
  • [9] Z. Eugene, “Eigen3: a c++ template library for linear algebra: matrices, vectors, numerical solvers, and related algorithms,” https://gitlab.com/libeigen/eigen, 2011.
  • [10] T. Fan, B. Shen, H. Chen, W. Zhang, and J. Pan, “Dynamicfilter: an online dynamic objects removal framework for highly dynamic environments,” in 2022 International Conference on Robotics and Automation (ICRA).   IEEE, 2022, pp. 7988–7994.
  • [11] P. Geneva, K. Eckenhoff, W. Lee, Y. Yang, and G. Huang, “Openvins: A research platform for visual-inertial estimation,” in 2020 IEEE International Conference on Robotics and Automation (ICRA).   IEEE, 2020, pp. 4666–4672.
  • [12] D. He, W. Xu, N. Chen, F. Kong, C. Yuan, and F. Zhang, “Point-lio: Robust high-bandwidth light detection and ranging inertial odometry,” Advanced Intelligent Systems, p. 2200459, 2023.
  • [13] D. He, W. Xu, and F. Zhang, “Kalman filters on differentiable manifolds,” arXiv preprint arXiv:2102.03804, 2021.
  • [14] M. Himmelsbach, F. V. Hundelshausen, and H.-J. Wuensche, “Fast segmentation of 3d point clouds for ground vehicles,” in 2010 IEEE Intelligent Vehicles Symposium.   IEEE, 2010, pp. 560–565.
  • [15] A. Hornung, K. M. Wurm, M. Bennewitz, C. Stachniss, and W. Burgard, “Octomap: An efficient probabilistic 3d mapping framework based on octrees,” Autonomous robots, vol. 34, pp. 189–206, 2013.
  • [16] L.-T. Hsu, N. Kubo, W. Wen, W. Chen, Z. Liu, T. Suzuki, and J. Meguro, “Urbannav: An open-sourced multisensory dataset for benchmarking positioning algorithms designed for urban areas,” in Proceedings of the 34th International Technical Meeting of the Satellite Division of The Institute of Navigation (ION GNSS+ 2021), 2021, pp. 226–256.
  • [17] M. Kaess, H. Johannsson, R. Roberts, V. Ila, J. J. Leonard, and F. Dellaert, “isam2: Incremental smoothing and mapping using the bayes tree,” The International Journal of Robotics Research, vol. 31, no. 2, pp. 216–235, 2012.
  • [18] G. Kim and A. Kim, “Remove, then revert: Static point cloud map construction using multiresolution range images,” in 2020 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS).   IEEE, 2020, pp. 10 758–10 765.
  • [19] K. Li, M. Li, and U. D. Hanebeck, “Towards high-performance solid-state-lidar-inertial odometry and mapping,” IEEE Robotics and Automation Letters, vol. 6, no. 3, pp. 5167–5174, 2021.
  • [20] H. Lim, S. Hwang, and H. Myung, “Erasor: Egocentric ratio of pseudo occupancy-based dynamic object removal for static 3d point cloud map building,” IEEE Robotics and Automation Letters, vol. 6, no. 2, pp. 2272–2279, 2021.
  • [21] A. Milioto, I. Vizzo, J. Behley, and C. Stachniss, “Rangenet++: Fast and accurate lidar semantic segmentation,” in 2019 IEEE/RSJ international conference on intelligent robots and systems (IROS).   IEEE, 2019, pp. 4213–4220.
  • [22] V. Nguyen, S. Gächter, A. Martinelli, N. Tomatis, and R. Siegwart, “A comparison of line extraction algorithms using 2d range data for indoor mobile robotics,” Autonomous Robots, vol. 23, pp. 97–111, 2007.
  • [23] P. Pfreundschuh, H. F. Hendrikx, V. Reijgwart, R. Dubé, R. Siegwart, and A. Cramariuc, “Dynamic object aware lidar slam based on automatic generation of training data,” in 2021 IEEE International Conference on Robotics and Automation (ICRA).   IEEE, 2021, pp. 11 641–11 647.
  • [24] F. Pomerleau, P. Krüsi, F. Colas, P. Furgale, and R. Siegwart, “Long-term 3d map maintenance in dynamic environments,” in 2014 IEEE International Conference on Robotics and Automation (ICRA).   IEEE, 2014, pp. 3712–3719.
  • [25] C. Qian, Z. Xiang, Z. Wu, and H. Sun, “Rf-lio: Removal-first tightly-coupled lidar inertial odometry in high dynamic environments,” arXiv preprint arXiv:2206.09463, 2022.
  • [26] C. Qin, H. Ye, C. E. Pranata, J. Han, S. Zhang, and M. Liu, “Lins: A lidar-inertial state estimator for robust and efficient navigation,” in 2020 IEEE international conference on robotics and automation (ICRA).   IEEE, 2020, pp. 8899–8906.
  • [27] J. Schauer and A. Nüchter, “The peopleremover—removing dynamic objects from 3-d point cloud data by traversing a voxel occupancy grid,” IEEE robotics and automation letters, vol. 3, no. 3, pp. 1679–1686, 2018.
  • [28] L. Schmid, O. Andersson, A. Sulser, P. Pfreundschuh, and R. Siegwart, “Dynablox: Real-time detection of diverse dynamic objects in complex environments,” IEEE Robotics and Automation Letters, 2023.
  • [29] T. Shan and B. Englot, “Lego-loam: Lightweight and ground-optimized lidar odometry and mapping on variable terrain,” in 2018 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS).   IEEE, 2018, pp. 4758–4765.
  • [30] T. Shan, B. Englot, D. Meyers, W. Wang, C. Ratti, and D. Rus, “Lio-sam: Tightly-coupled lidar inertial odometry via smoothing and mapping,” in 2020 IEEE/RSJ international conference on intelligent robots and systems (IROS).   IEEE, 2020, pp. 5135–5142.
  • [31] H. W. Sorenson, “Kalman filtering techniques,” in Advances in control systems.   Elsevier, 1966, vol. 3, pp. 219–292.
  • [32] W. Wen, Y. Zhou, G. Zhang, S. Fahandezh-Saadi, X. Bai, W. Zhan, M. Tomizuka, and L.-T. Hsu, “Urbanloco: A full sensor suite dataset for mapping and localization in urban scenes,” in 2020 IEEE international conference on robotics and automation (ICRA).   IEEE, 2020, pp. 2310–2316.
  • [33] W. Wu and W. Wang, “Lidar inertial odometry based on indexed point and delayed removal strategy in highly dynamic environments,” Sensors, vol. 23, no. 11, p. 5188, 2023.
  • [34] J. R. Xu, S. Huang, S. Qiu, L. Zhao, W. Yu, M. Fang, M. Wang, and R. Li, “Lidar-link: Observability-aware probabilistic plane-based extrinsic calibration for non-overlapping solid-state lidars,” IEEE Robotics and Automation Letters, 2024.
  • [35] W. Xu, Y. Cai, D. He, J. Lin, and F. Zhang, “Fast-lio2: Fast direct lidar-inertial odometry,” IEEE Transactions on Robotics, vol. 38, no. 4, pp. 2053–2073, 2022.
  • [36] W. Xu and F. Zhang, “Fast-lio: A fast, robust lidar-inertial odometry package by tightly-coupled iterated kalman filter,” IEEE Robotics and Automation Letters, vol. 6, no. 2, pp. 3317–3324, 2021.
  • [37] Z. Yan, L. Sun, T. Krajník, and Y. Ruichek, “Eu long-term dataset with multiple sensors for autonomous driving,” in 2020 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS).   IEEE, 2020, pp. 10 697–10 704.
  • [38] Z. Yan, X. Wu, Z. Jian, B. Lan, and X. Wang, “Rh-map: Online map construction framework of dynamic object removal based on 3d region-wise hash map structure,” IEEE Robotics and Automation Letters, 2024.
  • [39] D. Yoon, T. Tang, and T. Barfoot, “Mapless online detection of dynamic objects in 3d lidar,” in 2019 16th Conference on Computer and Robot Vision (CRV).   IEEE, 2019, pp. 113–120.
  • [40] Z. Yuan, J. Deng, R. Ming, F. Lang, and X. Yang, “Sr-livo: Lidar-inertial-visual odometry and mapping with sweep reconstruction,” IEEE Robotics and Automation Letters, vol. 9, no. 6, pp. 5110–5117, 2024.
  • [41] Z. Yuan, F. Lang, T. Xu, and X. Yang, “Sr-lio: Lidar-inertial odometry with sweep reconstruction,” arXiv preprint arXiv:2210.10424, 2022.
  • [42] Z. Yuan, F. Lang, T. Xu, C. Zhao, and X. Yang, “Semi-elastic lidar-inertial odometry,” arXiv preprint arXiv:2307.07792, 2023.
  • [43] Z. Yuan, Q. Wang, K. Cheng, T. Hao, and X. Yang, “Sdv-loam: Semi-direct visual–lidar odometry and mapping,” IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 45, no. 9, pp. 11 203–11 220, 2023.
  • [44] T. Zhang, x. Zhang, z. Liao, X. Xia, and Y. Li, “As-lio: Spatial overlap guided adaptive sliding window lidar-inertial odometry for aggressive fov variation,” arXiv preprint arXiv:2408.11426, 2024.
[Uncaptioned image] Zikang Yuan received his PhD degree from Huazhong University of Science and Technology (HUST), Wuhan, China, in 2024. He has published one paper on TPAMI, one paper on RA-L, two papers on IROS, two papers on ACM MM and three papers on TMM. His research interests include monocular dense mapping, RGB-D simultaneous localization and mapping, visual-inertial state estimation, visual-LiDAR pose estimation and LiDAR-inertial state estimation.
[Uncaptioned image] Xiaoxiang Wang is currently a 2nd year M.S. student of Huazhong University of Science and Technology (HUST), School of Electronic Information and Communications. His research interests include 3D point based dynamic point indentification and object tracking.
[Uncaptioned image] Jingying Wu is currently a 3rd year M.S. student of Huazhong University of Science and Technology (HUST), School of Electronic Information and Communications. Her research interests include 3D point based dynamic point indentification and loop closure identification.
[Uncaptioned image] Junda Cheng is currently a 2nd year PhD student at the Department of Electronic Information and Communications at Huazhong University of Science and Technology (HUST). He is supervised by Prof. Xin Yang. He received the B.Eng. degree from Huazhong University of Science and Technology in 2020. His research interests include stereo matching, multi-view stereo, and deep visual odometry.
[Uncaptioned image] Xin Yang received her PhD degree in University of California, Santa Barbara in 2013. She worked as a Post-doc in Learning-based Multimedia Lab at UCSB (2013-2014). She is current Professor of Huazhong University of Science and Technology School of Electronic Information and Communications. Her research interests include simultaneous localization and mapping, augmented reality, and medical image analysis. She has published over 90 technical papers, including TPAMI, IJCV, TMI, MedIA, CVPR, ECCV, MM, etc., co-authored two books and holds 3 U.S. Patents. Prof. Yang is a member of IEEE and a member of ACM.