自动驾驶 (AD) 中的端到端架构在可解释性方面面临着重大挑战,阻碍了人类与人工智能的信任。人类友好的自然语言已经被探索用于驾驶解释和 3D 字幕等任务。然而,以前的工作主要集中在声明性可解释性的范式上,其中自然语言解释并不基于 AD 系统的中间输出,使得解释只是声明性的 ...
强化学习 (RL),特别是它与被称为深度 RL (DRL) 的深度神经网络的结合,在广泛的应用中显示出了巨大的前景,这表明它具有开发复杂机器人行为的潜力。然而,由于与物理世界交互的复杂性和成本,机器人问题给强化学习的应用带来了根本性的困难。本文对机器人技术的 DRL 进行了现代调查,特别侧重于评估在现实世界中使用 DRL 在实现几种关键机器人能力方面所取得的成功 ...
如今,自动驾驶汽车因其在解决各种其他现实挑战方面的众多潜在应用而受到关注。然而,开发自动驾驶汽车在将其部署到现实世界之前需要大量的培训和测试。虽然强化学习(RL)领域已经发展成为深度表示学习发展的强大学习框架,并且现在能够在自动驾驶汽车等高维环境中学习复杂的策略 ...
与流行的模块化框架不同,端到端自动驾驶寻求以集成的方式解决感知、决策和控制问题,更能适应新的场景,更容易大规模推广。然而,现有的端到端方法通常缺乏可解释性,只能处理简单的驾驶任务,例如车道保持。在本文中,我们提出了一种用于端到端自动驾驶的可解释的深度强化学习方法,能够处理复杂的城市场景 ...
为了安全地应对复杂的现实场景,自动驾驶汽车必须能够适应不同的路况并预测未来的事件。基于世界模型 (WM) 的强化学习 (RL) 通过学习和预测各种环境的复杂动态而成为一种有前景的方法。然而,据我们所知,不存在用于在复杂的驾驶环境中训练和测试此类算法的可访问平台 ...
对于自动驾驶汽车 (AV) 来说,在密集且异构的交通场景中安全高效地行驶是一项挑战,因为它们无法推断附近驾驶员的行为或意图。在这项工作中,我们引入了一种分布式多智能体强化学习(MARL)算法,该算法可以预测密集和异构流量场景中的轨迹和意图。我们的意图感知规划方法 iPLAN 允许代理仅根据本地观察来推断附近驾驶员的意图 ...
预测、决策和运动规划对于自动驾驶至关重要。在大多数当代作品中,它们被视为单独的模块或组合成具有共享主干但独立任务头的多任务学习范例。然而,我们认为它们应该被整合到一个综合框架中 ...
预测交通人员的未来运动对于安全高效的自动驾驶至关重要。为此,我们提出了 PredictionNet,这是一种深度神经网络 (DNN),可以预测所有周围交通代理的运动以及自我车辆的运动。所有预测都是概率性的,并以允许任意数量的代理的简单自上而下的光栅化表示 ...
动态多智能体系统中的行为预测是自动驾驶汽车背景下的一个重要问题,因为组件道路的复杂性表示和交互,包括移动智能体(例如行人和车辆)和道路环境信息(例如道路信息).. ...
在本报告中,我们介绍了我们在 CVPR 2022 的 Waymo 开放数据集挑战赛中的占用率和流量预测挑战的解决方案,该挑战赛在排行榜上排名第一。我们开发了一种新颖的分层时空网络,具有时空编码器、富含潜在变量的多尺度聚合器和递归分层 3D 解码器。我们使用多种损失,包括焦点损失和修改后的流迹损失来有效地指导训练过程 ...