变形金刚彻底改变了几乎所有自然语言处理（NLP）任务，但具有记忆和计算复杂性，其与序列长度相规四倍。相比之下，复发性神经网络（RNN）在记忆和计算要求中表现出线性缩放，但由于并行化和可伸缩性的限制而难以匹配与 Transformer 相同的性能。我们提出了一种新型的模型架构，即接受加权钥匙值（RWKV），该模型结合了对 Transformer 的有效平行训练与RNN的有效推断 ...
在3D点云上进行的卷积经过了广泛的研究，但在几何深度学习中却远非完美。卷积的传统智慧在3D点之间表现出特征对应关系，这是对差的独特特征学习的内在局限性。在本文中，我们提出了自适应图卷积（AGCONV），以供点云分析的广泛应用 ...
尽管自我监督学习的一般思想在跨模式之间是相同的，但实际的算法和目标差异很大，因为它们是通过单一的方式开发的。为了使我们更接近一般的自我监督学习，我们提出Data2Vec，该框架使用相同的学习方法来进行语音，NLP或计算机视觉。核心思想是，基于使用标准 Transformer 体系结构的自鉴定设置中输入的掩盖视图来预测完整输入数据的潜在表示 ...
最近，使用蒙版的学生教师方法，自我监管的学习框架Data2Vec显示了各种模式的鼓舞人心的表现。但是，如果这种框架概括为3D点云的独特挑战，那么仍然开放。为了回答这个问题，我们将Data2Vec扩展到点云域，并在几个下游任务上报告令人鼓舞的结果 ...
基于生成预训练 Transformer （GPT）的大型语言模型（LLM）在各种下游任务中表现出了出色的有效性。受到GPT的进步的启发，我们提出了一种新颖的方法，该方法将GPT的概念扩展到点云，解决了与混乱属性，低信息密度和任务差距相关的挑战。具体而言，提出了点云自动回归生成任务以预先训练 Transformer 模型 ...
3D语义分割的最新作品建议通过使用专用网络处理每种模式并将学习的2D特征投射到3D点上，从而利用图像和点云之间的协同作用。合并大规模点云和图像会引起几个挑战，例如在点和像素之间构建映射，以及在多个视图之间汇总特征。当前的方法需要网格重建或专门的传感器来恢复闭塞，并使用启发式方法选择和汇总可用的图像 ...
计算机视觉中的一个长期问题涉及识别3D形状的表示：3D形状是否应以其本机3D格式（例如Voxel Grid或Polygon网格）运行的描述符来表示，还是可以用基于视图的描述符有效地表示？我们在学习从他们对2D图像的渲染观点中识别3D形状的上下文中解决了这个问题。我们首先提出了一个标准的CNN体系结构，该体系结构训练有素，可以识别形状的呈现视图，并表明即使从单个视图的精度也可以比使用最先进的3D形状描述符，也可以从单个视图中识别出3D形状。当提供多种观点时，识别率进一步提高 ...
几何深度学习技术已成为计算机辅助设计（CAD）领域的一种变革力量，并有可能革新设计师和工程师如何接近并增强设计过程。通过利用基于机器学习的方法的力量，CAD设计师可以优化其工作流程，节省时间和精力，同时做出更好的明智明智的决策，并创建既创新又实用的设计。处理以几何数据代表的CAD设计并分析其编码功能的能力，可以识别各种CAD模型之间的相似性，替代设计和增强功能的命题，甚至可以生成新颖的设计替代品 ...
我们介绍了形状 Token ，这是一个连续，紧凑且易于整合到机器学习模型中的3D表示。形状 Token 充当条件向量，在3D流匹配模型中表示形状信息。训练流量匹配模型，以近似于近似概率密度函数，该函数对应于Delta功能，该功能集中在3D中的形状表面上 ...
在过去的一年中，大型语言模型（LLM）在传统的自然语言处理之外取得了巨大的成功，并且在与外部工具相关时，它们的能力进一步扩展到了所谓的LLM代理。在所有域中，LLMS的提示已显示出对LLM产生的内容的巨大变化，从而影响LLM代理的性能。因此，对于许多LLM的研究人员和用户来说，自动及时工程（APE）已成为一个重要的问题 ...