在复杂的开放世界环境中实现类似人类的驾驶行为是自主驾驶的关键挑战。由于适应能力有限和学习复杂的多模式行为，人们对人类计划中通常表现出的复杂多模式行为，而不是提及他们对他们对他们的强烈依赖，因此基于现代学习的计划方法（例如模仿学习方法）通常努力平衡竞争目标和缺乏安全保证带有预定义规则的后备策略。我们为闭环计划提出了一个新型的基于 Transformer 的扩散计划者，该计划可以有效地对多模式驾驶行为进行建模，并确保轨迹质量而无需任何基于规则的改进 ...
最近在自动驾驶方面的突破已经彻底改变了车辆对周围环境的看法和互动方式。特别是，世界模型已成为一项Linchpin技术，提供了整合多传感器数据，语义提示和时间动态的驱动环境的高保真表示。这样的模型统一了感知，预测和计划，从而使自主系统能够在复杂且通常是不可预测的条件下做出快速，明智的决定 ...
端到端驾驶系统取得了快速进展，但迄今为止尚未应用于具有挑战性的新CARLA排行榜2.0。此外，虽然有大量关于端到端架构和训练策略的文献，但训练数据集的影响常常被忽视 ...
自动驾驶需要安全的运动规划，尤其是在关键的“长尾”场景中。最近的端到端自动驾驶系统利用大型语言模型（LLM）作为规划器来提高对罕见事件的概括性。然而，在测试时使用 LLM 会带来很高的计算成本 ...
我们演示了一种计算分子振动能级的方法，该方法将分子哈密顿量的离散变量表示（DVR）与变分量子本征解算器（VQE）以及最佳量子门序列的贪婪搜索相结合。我们证明了 DVR 哈密顿量的结构将量子测量复杂度从指数级降低到多项式级，从而无需二次量化即可实现高效的 VQE。然后，我们证明 DVR 哈密顿量还可以产生非常有效的量子模拟，用于通过量子计算机的状态表示分子的旋转振动状态 ...
大型语言模型 (LLM) 能够处理文本、语音、图像和视频等多模式输入和输出，正在改变我们处理信息的方式。除了生成对提示的文本响应之外，它们还可以与不同的软件平台集成，以提供跨不同应用程序的全面解决方案。在本文中，我们介绍了 ChatSUMO，这是一种基于 LLM 的代理，它集成了语言处理技能，可在广泛使用的交通模拟器 - 城市移动模拟 (SUMO) 中生成抽象和真实世界的模拟场景 ...
随着自动驾驶系统（ADS）的复杂性不断增加，确保其安全性和可靠性已成为一项严峻的挑战。当采用人工智能组件来实现感知和/或控制功能时，这些系统的验证和确认（V＆V）要求特别高。在 ESA 资助的项目 VIVAS 中，我们开发了一个用于基于系统级仿真的自主系统 V&V 的通用框架 ...
鉴于自动驾驶环境的动态特性和严格的安全要求，单独使用通用 MLLM 与 CLIP 相结合通常很难准确地表示特定的驾驶场景，特别是在复杂的交互和长尾情况下。为了解决这个问题，我们提出了提示提示（HoP）框架，该框架引入了三个关键增强功能：通过加强 Token 明智的连接来强调实例级结构的亲和提示，合并与特定驾驶案例相关的高级信息的语义提示，例如车辆和交通标志之间的复杂交互，以及将视觉特征与查询上下文对齐的问题提示，重点关注与问题相关的区域。这些提示通过 Hint Fusion 模块融合，丰富了视觉表示并增强了自动驾驶 VQA 任务的多模态推理 ...
评估自动驾驶中感知模块的性能是开发复杂智能系统中最关键的任务之一。虽然传统计算机视觉任务采用的模块级单元测试指标在某种程度上是可行的，但以一致和整体的方式衡量感知噪声对自动驾驶汽车驾驶质量的影响的探索还远远不够。在这项工作中，我们提出了一个原则性框架，该框架提供了对感知模块中的错误对实际控制车辆的自主代理规划的影响的连贯和系统的理解 ...
最近的视觉语言（VL）研究通过使用 Transformer 模型从大量图像文本对中学习通用表示，然后对下游 VL 任务进行微调，取得了显着的进展。虽然现有的研究重点是通过大型预训练模型实现高精度，但构建轻量级模型在实践中具有很大价值，但探索较少。在本文中，我们提出了一种更小、更快的 VL 模型 MiniVLM，它可以像其较大的对应任务一样在各种下游任务上进行微调，并具有良好的性能 ...