对行人,骑自行车的人和其他周围车辆(所有称为代理)的准确运动预测对于自动驾驶非常重要。大多数现有作品通过基于向量的注意力与MAP的单阶段互动捕获地图信息,从而为社交互动和多模式分化提供了地图限制。但是,这些方法必须将所有必需的MAP规则编码到焦点代理的功能中,以保留所有可能的意图路径,同时适应潜在的社交互动 ...
Wikipedia可以由任何人编辑,因此包含各种质量的句子。因此,Wikipedia包括一些质量不佳的编辑,这些编辑通常由其他编辑标记。虽然编辑的评论提高了Wikipedia的信誉,但很难检查所有编辑的文本 ...
大型语言模型(LLM)表现出了前所未有的生成能力,但是它们与人类价值观的一致性对于确保有用和无害部署仍然至关重要。尽管从人类反馈中学习(RLHF)的强化学习已经成为使LLM与人类偏好保持一致的强大范式,但其对复杂奖励建模的依赖引入了计算效率和培训稳定性方面的固有权衡。在这种情况下,直接偏好优化(DPO)最近成为一种简化的替代方案,它可以使用人类偏好直接优化LLM,从而规避了对显式奖励建模的需求 . ...
当前的3D大型多模型模型(3D LMM)在基于3D的对话和推理中显示出巨大的潜力。但是,如何进一步增强3D LMM,以实现精细的场景理解并促进灵活的人类代理互动仍然是一个挑战性的问题。在这项工作中,我们介绍了3D-llava,这是一个简单而强大的3D LMM,旨在充当理解,推理和与3D世界互动的智能助手 ...
物理人工智能首先需要进行数字化训练。它需要自身的数字孪生,即政策模型,以及世界的数字孪生,即世界模型。在本文中,我们提出了 Cosmos World 基础模型平台,以帮助开发人员为其物理 AI 设置构建定制的世界模型 ...
指导调整已被用作一种有前途的方法,用于提高在看不见的任务上大型语言模型(LLMS)的性能。但是,当前的LLMS表现出有限的鲁棒性,无法看见的说明,当相同的指令用略有多样的形式或语言样式措辞时,产生不一致的输出。这种行为表明LLMS缺乏对文本变化的鲁棒性和无法看见的说明的概括性,可能导致可信赖性问题 ...
3D视觉接地对于机器人至关重要,需要自然语言和3D场景的理解。传统方法取决于3D点云的监督学习,受到稀缺数据集的限制。最近,已经提出了利用LLM的零射击方法来解决数据问题 ...
模仿学习是训练机器人控制政策的有前途的范式,但是这些政策可能会遭受分配变化,在评估时间的条件与培训数据中的条件不同。提高政策鲁棒性的流行方法是交互式模仿学习(即 ...