模仿学习的最新进展是通过策略体系结构来扩展到复杂的视觉运动任务,多模式分布和大型数据集的。但是,这些方法通常依赖于大量专家演示中的学习。为了解决这些缺点,我们提出了潜在扩散计划(LDP),该计划是由计划器组成的模块化方法,该方法可以利用无动作的演示,以及一个可以利用次优数据的逆动力学模型,两者都可以在学习的潜在空间上运行 ...
我们介绍了Nocturne,这是一种新的2D驾驶模拟器,用于研究部分可观察性下的多代理协调。夜曲的重点是在现实世界多代理设置中对推理和心理理论进行研究,而没有计算机视觉的计算开销并从图像中提取特征。该模拟器中的代理只会观察到场景的障碍,模仿人类的视觉传感限制 ...
随机人类运动预测(HMP)通常已经通过生成的对抗网络和变异自动编码器来解决。大多数先前的作品旨在根据骨架关节的分散来预测高度多样化的运动。这导致了预测快速和运动发散运动的方法,这些运动通常与过去的运动不切实际且不连贯 ...
Panoptic图像分割是计算机视觉任务,即在图像中查找像素的组,并为其分配语义类别和对象实例标识符。由于其在机器人技术和自动驾驶中的关键应用,图像细分的研究变得越来越流行。因此,研究社区依靠公开可用的基准数据集来推动计算机视觉中的最新技术 ...
扩散模型最近在解决决策问题方面表现出了巨大的潜力,尤其是在生成行为计划(也称为扩散计划)方面。尽管许多研究表明了扩散计划的令人印象深刻的表现,但良好扩散计划者的关键组成部分背后的机制尚不清楚,并且在现有研究中,设计选择非常不一致。在这项工作中,我们通过在离线增强学习(RL)设置中进行的系统经验实验来解决这个问题,从而提供了对扩散计划的基本组成部分的实用见解 ...
端到端的自主驾驶(E2E-AD)已迅速成为实现完全自治的有前途的方法。但是,现有的E2E-AD系统通常采用传统的多任务框架,通过单独的特定任务负责人来解决感知,预测和计划任务。尽管接受了完全可区分的培训,但他们仍然会遇到任务协调的问题,并且系统的复杂性仍然很高 ...
我们提出了扩散模型预测控制(D-MPC),这是一种新型的MPC方法,它使用扩散模型学习了多步操作建议和多步动力学模型,并将它们结合在一起用于在线MPC。在流行的D4RL基准测试中,我们显示的性能要比现有的基于模型的离线计划方法使用MPC明显好,并与最先进的ART(SOTA)基于模型和无模型的增强加固学习方法竞争。我们还说明了D-MPC在运行时优化新型奖励功能并适应新型动态的能力,并强调了其与现有基于扩散的计划基线相比的优势 ...
开发能够以人类水平的安全性和效率在复杂环境中行驶的自动驾驶汽车是自动驾驶研究的核心目标。实现这一目标的常见方法是模仿学习,即训练智能体模仿从现实世界驾驶场景中收集的人类专家演示。然而,人类感知和自动驾驶汽车传感器之间的差异可能会引入\textit{模仿差距},导致模仿学习失败 ...
随着自动驾驶系统的成熟,运动预测已受到越来越多的关注,这是计划的关键要求。特别重要的是交互式情况,例如合并,未保护的转弯等,在这些情况下,预测单个对象运动不足 ...
Hydra-MDP ++介绍了一个新颖的教师知识蒸馏框架,该框架具有多头解码器,该解码器从人类示范和基于规则的专家中学习。该框架使用轻巧的Resnet-34网络,并结合了扩展的评估指标,包括交通信号灯合规性(TL),巷道维护能力(LK)和扩展舒适度(EC),以解决传统NAVSIM衍生老师未捕获的不安全行为。像其他端到端自动驾驶方法一样,\ hydra直接处理原始图像,而无需依赖特权的感知信号 ...