我们提出了 CornerNet，这是一种新的对象检测方法，我们使用单个卷积神经网络将对象边界框检测为一对关键点（左上角和右下角）。通过将对象检测为成对关键点，我们无需设计现有单级检测器中常用的一组锚框。除了我们新颖的公式之外，我们还引入了角点池化，这是一种新型的池化层，可以帮助网络更好地定位角点 ...
在本文中，我们提出了 HOME，这是一个解决运动预测问题的框架，其图像输出代表智能体未来位置的概率分布。该方法允许采用经典卷积网络的简单架构，并结合代理交互的注意机制，并输出代理可能的未来的无约束 2D 顶视图表示。基于此输出，我们设计了两种方法来对一组有限的代理未来位置进行采样 ...
在本文中，我们提出了一种神经运动规划器（NMP），用于学习在复杂的城市场景中自动驾驶，包括交通灯处理、让行以及与多个道路使用者的交互。为了实现这一目标，我们设计了一个整体模型，以原始 LIDAR 数据和高清地图作为输入，并以 3D 检测及其未来轨迹的形式生成可解释的中间表示，以及定义每个位置的优劣的成本量。自动驾驶汽车可以在规划范围内采取。然后，我们对一组不同的物理上可能的轨迹进行采样，并选择具有最小学习成本的轨迹 ...
基础模型的出现彻底改变了自然语言处理和计算机视觉领域，为其在自动驾驶（AD）中的应用铺平了道路。这项调查对 40 多篇研究论文进行了全面回顾，展示了基础模型在增强 AD 方面的作用。大型语言模型有助于 AD 中的规划和模拟，特别是通过它们在推理、代码生成和翻译方面的熟练程度 ...
我们的目标是通过模仿学习来自动训练驾驶策略，该策略足够强大以驾驶真实车辆。我们发现标准行为克隆处理复杂的驾驶场景，即使我们使用接入系统来输入并使用控制器来进行操作汽车上执行输出：3000万个例子仍然不够。我们建议以专家驾驶干扰的形式让学习者尝试合成数据，这会产生有趣的情况，例如碰撞和/或偏离道路... ...
尽管强化学习 (RL) 方面取得了令人鼓舞的进展，但开发自动驾驶 (AD) 算法仍然具有挑战性：关键问题之一是缺乏能够在现实世界数据上训练和有效验证 RL 策略的开源平台。我们提出了 DriverGym，这是一个与 OpenAI Gym 兼容的开源环境，专门用于开发自动驾驶的 RL 算法。 DriverGym 提供对超过 1000 小时的专家记录数据的访问，还支持反应式和数据驱动的代理行为 ...
受大规模数据集对 ML 系统影响的推动，我们推出了迄今为止最大的用于运动预测的自动驾驶数据集，包含超过 1,000 小时的数据。这些数据是由 20 辆自动驾驶汽车组成的车队在加利福尼亚州帕洛阿尔托的固定路线上历时四个月收集的。它由 170,000 个场景组成，每个场景时长 25 秒，捕获自动驾驶系统的感知输出，对附近车辆、骑自行车者和行人随时间变化的精确位置和运动进行编码 ...
构建一个具有准确鲁棒性能的多模态多任务神经网络是自动驾驶感知任务的事实上的标准。然而，利用来自多个传感器的此类数据来联合优化预测和规划任务在很大程度上仍未得到探索。据我们所知，在本文中，我们提出了 FusionAD，这是第一个融合来自两个最关键传感器（摄像头和激光雷达）的信息的统一框架，超越了感知任务 ...
在本文中，我们提出了第一个用于控制自动驾驶车辆的安全系统，该系统经过人类演习完全训练并在具有挑战性的现实世界城市环境中部署。当前的行业标准解决方案使用基于规则的系统进行规划。尽管它们在常见场景中表现相当好，但工程复杂性使得这种方法与人类水平的表现不兼容...... ...
对基于视觉的驾驶政策进行基准测试具有挑战性。一方面，使用真实数据进行开环评估很容易，但这些结果并不能反映闭环性能。另一方面，闭环评估在模拟中是可能的，但由于其大量的计算需求而难以扩展 ...