我们引入了位置自适应卷积（PACONV），这是用于3D点云处理的通用卷积操作。 PACONV的关键是通过动态组装存储在重量库中的基本重量矩阵来构建卷积内核，在该量库中，这些重量矩阵的系数是通过Scorenet从点位置自动学习的。这样，内核是以数据驱动的方式构建的，它比2D卷积更具灵活性，以更好地处理不规则和无序的点云数据 ...
用于不同任务的大规模点云数据集的手动注释，例如3D对象分类，分割和检测，通常由于点云的不规则结构而费力。在没有任何人类标签的情况下运作的自学学习是解决这个问题的一种有希望的方法。我们在现实世界中观察到，人类能够绘制从2D图像中学到的视觉概念以了解3D世界 ...
最近，利用预训练技术来增强点云模型已成为一个热门研究主题。但是，现有的方法通常需要对预训练的模型进行全面微调，以在下游任务上实现满意的性能，并随附存储密集型和计算要求。为了解决这个问题，我们为点云提出了一种新型的参数效率微调（PEFT）方法，称为PointGST（Point Cloud Grape Spectral Tuning） ...
变形金刚彻底改变了几乎所有自然语言处理（NLP）任务，但具有记忆和计算复杂性，其与序列长度相规四倍。相比之下，复发性神经网络（RNN）在记忆和计算要求中表现出线性缩放，但由于并行化和可伸缩性的限制而难以匹配与 Transformer 相同的性能。我们提出了一种新型的模型架构，即接受加权钥匙值（RWKV），该模型结合了对 Transformer 的有效平行训练与RNN的有效推断 ...
在3D点云上进行的卷积经过了广泛的研究，但在几何深度学习中却远非完美。卷积的传统智慧在3D点之间表现出特征对应关系，这是对差的独特特征学习的内在局限性。在本文中，我们提出了自适应图卷积（AGCONV），以供点云分析的广泛应用 ...
尽管自我监督学习的一般思想在跨模式之间是相同的，但实际的算法和目标差异很大，因为它们是通过单一的方式开发的。为了使我们更接近一般的自我监督学习，我们提出Data2Vec，该框架使用相同的学习方法来进行语音，NLP或计算机视觉。核心思想是，基于使用标准 Transformer 体系结构的自鉴定设置中输入的掩盖视图来预测完整输入数据的潜在表示 ...
最近，使用蒙版的学生教师方法，自我监管的学习框架Data2Vec显示了各种模式的鼓舞人心的表现。但是，如果这种框架概括为3D点云的独特挑战，那么仍然开放。为了回答这个问题，我们将Data2Vec扩展到点云域，并在几个下游任务上报告令人鼓舞的结果 ...
基于生成预训练 Transformer （GPT）的大型语言模型（LLM）在各种下游任务中表现出了出色的有效性。受到GPT的进步的启发，我们提出了一种新颖的方法，该方法将GPT的概念扩展到点云，解决了与混乱属性，低信息密度和任务差距相关的挑战。具体而言，提出了点云自动回归生成任务以预先训练 Transformer 模型 ...
3D语义分割的最新作品建议通过使用专用网络处理每种模式并将学习的2D特征投射到3D点上，从而利用图像和点云之间的协同作用。合并大规模点云和图像会引起几个挑战，例如在点和像素之间构建映射，以及在多个视图之间汇总特征。当前的方法需要网格重建或专门的传感器来恢复闭塞，并使用启发式方法选择和汇总可用的图像 ...
计算机视觉中的一个长期问题涉及识别3D形状的表示：3D形状是否应以其本机3D格式（例如Voxel Grid或Polygon网格）运行的描述符来表示，还是可以用基于视图的描述符有效地表示？我们在学习从他们对2D图像的渲染观点中识别3D形状的上下文中解决了这个问题。我们首先提出了一个标准的CNN体系结构，该体系结构训练有素，可以识别形状的呈现视图，并表明即使从单个视图的精度也可以比使用最先进的3D形状描述符，也可以从单个视图中识别出3D形状。当提供多种观点时，识别率进一步提高 ...