重新思考基于深度学习的自动驾驶系统中预测与规划的集成：综述

摘要

自动驾驶有可能彻底改变个人、公共和货运出行。 除了准确感知环境之外，自动驾驶车辆还必须规划出安全、舒适、高效的运动轨迹。 为了促进安全和进步，许多工作依赖于预测周围交通未来运动的模块。 模块化自动驾驶系统通常将预测和规划作为连续的、单独的任务来处理。 虽然这考虑了周围交通对自我车辆的影响，但它无法预测交通参与者对自我车辆行为的反应。 最近的模型越来越多地将预测和规划整合到一个联合或相互依赖的步骤中，以模拟双向交互。 迄今为止，缺乏对不同集成原则的全面概述。 我们系统地回顾了最先进的基于深度学习的预测和规划，并重点关注集成的预测和规划模型。 从模型架构、模型设计到行为方面，集成的不同方面都被考虑并相互关联。 此外，我们还讨论了不同集成原则的含义、优点和局限性。 通过指出研究差距、描述相关的未来挑战并强调研究领域的趋势，我们确定了未来研究的有希望的方向。

6.6英寸(0.95英寸,0.15英寸) 已提交审查并可能发表。 版权将被转让，恕不另行通知。

允许个人使用本材料。 在任何当前或未来的媒体中进行所有其他用途，包括出于广告或促销目的重印/重新发布本材料、创建新的集体作品、转售或重新分发到服务器或列表，或重复使用本材料的任何受版权保护的组件，必须获得许可。从事其他工作。

1 简介

自动驾驶（AD）仍然是一项具有挑战性的工作。 它通常分为感知、预测、规划和控制子任务[1,2,3]。 感知处理传感器输入以创建环境模型。 预测和规划建立在该模型的基础上，并对周围交通代理进行未来运动预测，并为受控自我车辆制定计划。 传统的模块化系统（参见图1)将预测和规划作为单独的任务来处理。 利用周围交通代理的预测行为来为自我车辆规划合适的行为。 然而，这种顺序排序本质上是反应性的，不能代表自我车辆和其他交通代理之间的双向交互[4]。 事实上，预测和规划不是顺序问题，在自动驾驶系统中应该紧密耦合[5,6,7]。

1.1 范围

在这项工作中，我们回顾了将预测和规划集成到自动驾驶系统（ADS）中的方法。

预测是预测观察到的交通代理的意图和未来轨迹的任务[8]，而规划的任务是找到最佳可能的轨迹。 先前为受控车辆定义的标准[9]。

基于深度学习 (DL) 的方法遵循以数据为中心的方法来解决这些问题[10]，并在许多领域带来显着改进[11]。 预测和规划工作也越来越多地采用基于深度学习的方法[12,13,14,15]，并代表传统的基于规则的方法的替代方法[16, 17] 和约束优化[18]。 在这项工作中，我们重点关注基于深度学习的方法。

ADS的架构可以采用不同的形式，如图1所示。 黑盒方法采用单个神经网络进行感知、预测和规划（参见 图1(a))，因此根据架构，可以在模块之间绘制无边界[9,19,20]。 相比之下，模块化系统由针对不同任务的明确定义的组件组成[21,22,23,24,25]。 传统上，它们按顺序排列（参见 图1(b))。 在这项工作中，我们强调了这种方法的缺点，并重点介绍了以更复杂的方式整合预测和规划的工作（参见 图1(c))实现自动驾驶车辆与周围交通的双向交互。 我们将自动驾驶系统中集成预测和规划的组件称为集成预测和规划系统（IPPS）。

我们将工作范围限制为混合交通，交通代理之间没有车辆到 X 的通信。 此外，我们排除了行人运动预测，它提出了一个不同的问题，与车辆相比，它受到较弱的动态约束[26]，并且已被彻底调查[27,28,29].

1.2 贡献和结构

本次调查首先回顾了基于深度学习的预测和规划，然后重点讨论如何整合这两项任务。 对经典方法的调查[30,31,14,32]、基于深度学习的独立预测[33,34,35,15]或规划 [36] 和端到端 (E2E) AD [37] 已经存在，据我们所知，我们是第一个审查基于 DL 的预测集成的人和规划。 我们的贡献总结如下：

• 我们全面概述了基于 DL 的预测（第 3 节）和规划（第 4 节）的常见表示、架构和最先进的方法。

• 我们提出了预测和规划集成的分类，它解决了模型架构、系统设计和行为方面的问题。 此外，我们调查并分析了这些类别之间的相互关系及其对安全性和稳健性的影响（第 5 节）。

• 我们揭示了最先进研究的差距，并根据已确定的分类指出了未来研究的有希望的方向（第 6 节）。

(a) Black box ADS

(b) ADS with sequential IPPS

(c) ADS with bidirectional IPPS

图1： 自动驾驶系统的系统架构。 虚线表示，由于某些 E2E ADS 的黑盒性质，可能不清楚哪些网络组件进行预测和规划，因此无法绘制 IPPS 周围的边界。

2 任务定义

下面，我们首先介绍本工作中使用的任务定义的术语和符号。 我们采用与[33]提出的类似术语，并将交通场景中的参与者划分为自动驾驶自我车辆(EV) 和周围车辆 (SV)。 电动汽车配备了可提供环境信息的传感器。 车辆$i$在时间间隔$t-t_{\text{obs}},\mathrm{\dots },t$内的状态历史为

$$X_i=\{x_{t-t_{\text{obs}}},\mathrm{\dots },x_{t-1},x_t\}.$$ (1)

每个状态$x$包括2D或3D位置信息以及进一步的可选信息，例如航向角、速度、静态属性或在EV的情况下的目标信息。 因此，$X_{\text{EV}}$表示 EV 过去的状态。 相似地，

$${\overline{\text{X}}}_{\text{SV}}=\{X_1,X_2,\mathrm{\dots },X_m\}$$ (2)

指的是所有SV的过去状态。 类似地，在 $t_{\text{pred}}$ 预测范围内车辆 $i$ 的未来状态为

$$Y_i=\{y_{t+1},y_{t+2},\mathrm{\dots },y_{t+t_{\text{pred}}}\}.$$ (3)

所有SV的未来状态都是${\overline{\text{Y}}}_{\text{SV}}$。 在下文中，状态序列也称为轨迹。

附加场景信息，例如语义地图或交通标志和交通灯状态由$I$表示。

预测。 继[8]之后，我们将轨迹预测描述为估计概率分布的任务

$$P_{\text{pred}}=P(\overline{\text{Y}}|\overline{\text{X}},I)$$ (4)

将 $\overline{\text{X}}$ 中 $m$ 观察到的车辆的状态历史映射到 $\overline{\text{Y}}$ 中 $n$ 预测车辆的未来轨迹。 分布$P_{\text{pred}}$考虑了预测任务中固有的不确定性，并且通常由具有相应概率[38,39,40,41]的离散样本集建模。 一些方法省略场景信息$I$并仅根据状态历史推断轨迹[42,43,44]。

表一： 预测的形式

$\overline{\text{Y}}$	$\overline{\text{X}}$	Task
$Y_{\text{SV}}$	${\overline{\text{X}}}_{\text{SV}}$, $X_{\text{EV}}$	Single-Agent Prediction
${\overline{\text{Y}}}_{\text{CV}}$	${\overline{\text{X}}}_{\text{SV}}$, $X_{\text{EV}}$	Clique Prediction
${\overline{\text{Y}}}_{\text{SV}}$	${\overline{\text{X}}}_{\text{SV}}$, $X_{\text{EV}}$	Joint Prediction

通常$\overline{\text{X}}$包括场景中的所有车辆，即$X_{\text{EV}}$和${\overline{\text{X}}}_{\text{SV}}$。 根据 $\overline{\text{Y}}$ 中的车辆，可以制定不同的预测变体，如表 1 所示。 I。单智能体预测分别对每个 SV 的未来轨迹进行建模[45]。 然而，从一组 $n$ 单代理预测 $Y_{\text{SV}}$ 估计联合预测 ${\overline{\text{Y}}}_{\text{SV}}$ 并不是微不足道的，因为可能的组合数量随着代理$n$。并非所有这些组合都是有意义的，并且通过启发式和联合优化找到现实的组合是很麻烦的[46]。 为了避免这种情况，联合预测直接估计多个 SV [47] 的联合分布。 由于并非每个 SV 都与所有其他参与者交互，ScePT [48] 将 SV 划分为高度交互的派系 $\text{CV}\subset \text{SV}$ 和模型 ${\overline{\text{Y}}}_{\text{CV}}$。 我们只讨论单智能体预测和联合预测，因为团预测可以被视为联合预测的一种特殊情况，它边缘化了剩余的 SV。 此外，第二节中讨论的方面。 3 对于派系预测也有效。

规划。 任务是为电动汽车找到一条合适的轨迹，并将其传递给下游运动控制器。 因此，我们将计划定义为一个函数$f$，它映射观察输入${\overline{\text{X}}}_{\text{SV}}$和$X_{\text{EV}}$以及上下文信息$I$到未来的轨迹$Y_{\text{EV}}$，即

$$Y_{\text{EV}}=f(X_{\text{EV}},{\overline{\text{X}}}_{\text{SV}},I).$$ (5)

在许多情况下，$f$也使用预测${\overline{\text{Y}}}_{\text{SV}}$，即

$$Y_{\text{EV}}=f(X_{\text{EV}},{\overline{\text{X}}}_{\text{SV}},I,{\overline{\text{Y}}}_{\text{SV}}).$$ (6)

定义表明，规划可以被视为单智能体预测的特殊情况，其中输出分布仅对单个轨迹进行建模。 然而，与预测相反，规划轨迹必须以导航目标为条件。 此外，它必须在闭环中保持稳定，即它必须在运动学上可行，并且在馈送到下游控制器时能够产生安全有效的驾驶行为。

3 预测

预测的核心是了解驾驶场景将如何演变。 秒。 3.1 讨论不同的场景表示如何允许本地和全局交互。 秒。 3.2 回顾了哪些神经网络设计用于建模交互和提取描述性特征。 最后，第二节。 3.3 显示了如何将提取的特征映射到轨迹预测以及如何对多模态进行建模。

3.1 场景表示

图2： 相同交通场景的光栅化表示和稀疏表示的比较。 前者用固定大小的网格表示信息，而后者则使用一组向量。

表示场景意味着提取所有可用信息的相关子集并将其转换为后续处理步骤可以使用的格式。 在自动驾驶车辆的轨迹预测中，代理状态 $\overline{\text{X}}$ 和地图 I 是最重要的表示信息。 基于深度学习的方法中存在两种主要表示形式：光栅化和稀疏（参见图2)。

光栅化。 光栅化表示使用密集、固定分辨率的网格结构，通常具有多个通道[49,50,48,51,52]。 每个通道对代理状态的不同信息进行编码。 它们通常与光栅化高清地图（HD 地图）结合使用。 典型的模式是占用地图[51]、物体检测[53]、车道标记[54]、运动历史[55] 、语义信息[56]、交通标志[57]、交通灯状态[57]和路线信息[58]（参见 图2。

DESIRE [8] 是一项早期工作，它使用光栅化表示进行基于深度学习的预测。 采用鸟瞰图 (BEV) 表示将多个 EV 传感器输入融合为共享表示。 这允许组合不同的传感方式，并为所有车辆建立一个共同的坐标系，有助于对场景内的交互进行建模[59]。

此外，密集网格非常适合使用强大的卷积神经网络 (CNN) [60] 架构进行处理[58, 61, 62, 10, 63, 64, 65 、66、67、68、69、70、71]。 然而，将所有观测值嵌入网格结构中会因量化误差[72]而导致信息损失。 此外，正如第 2 节中所讨论的。 3.2，CNN 的局部受限感受野会阻碍交互建模。

稀疏表示使用向量来描述场景中的所有对象。 然后，每个对象的向量要么联合编码，例如使用 Transformer，要么单独编码然后聚合，例如使用图神经网络 (GNN)[73]。 对象由多边形或点集 [6, 74, 41, 75, 61, 76, 38, 77] 表示。 地图通常由一组由折线和邻接矩阵表示的车道来描述。 然后将对象和地图元素编码为固定大小的潜在特征，例如通过多层感知器 (MLP) [78] 或循环神经网络 (RNN) [79, 39] 。 对状态历史 $\overline{\text{X}}$、一维 CNN [80]、RNN（例如 LSTM [81] 和 GRU [82]，并应用 Transformer [83] [41, 84, 76]。

图3中的时间线按时间顺序描述了有影响力的预测方法，并展示了过去几年向稀疏表示的转变。 Diehl等人[72]提出了车辆交互建模的图表示。 基于他们的工作，出现了两种方法：同质图和异质图。 同质图对一类对象进行编码，例如道路网络 [74, 41]，而异构图将不同的对象类组合在一个图中 [40, 85, 86, 87]. 然而，他们的工作重点是高速公路数据，不包括地图信息。 相比之下，VectorNet [74] 建议通过一组点来表示所有地图元素和代理。 代理由其运动历史上的一组点表示，而车道则由折线点描述。 小对象（例如交通标志）由单个点表示，扩展元素由多个点定义的多边形给出。 然后，Vectornet 使用称为折线子图的同构子图来处理每个对象。 每个对象的特征是通过最大池化获得的。 接下来，所有对象特征都聚合在异构全局图中。 最后根据TV对应节点的编码解码出TV轨迹。 Trajectron++ [40] 和 MFP [88] 将高精地图的栅格化表示与对象的稀疏表示相结合。 此外，一些作品使用稀疏程度不同的体素表示[89]、[90]。

MultiPath++ [38] 是 MultiPath [56] 的后继者，并从光栅化表示切换为稀疏表示。 他们的结果表明，从光栅化到稀疏化的转变可以提高性能。 该领域的整体发展证实了这一趋势（参见 图3)。

坐标系。 无论场景表示本身如何，坐标系都是基本的设计选择。

对整个场景应用具有固定视点的全局坐标系[91,46,92,6]在计算上是高效的。 然而，帧不是视点不变的，即，如果坐标系在场景内移动，预测就会改变。 这会导致样本效率低下并损害泛化[93]。 在预测 EV [94] 之外的其他智能体时，即使将坐标原点固定到 EV 中心也不会导致视点不变预测。

相比之下，其他模型[95,96,74,54]从每个代理的角度处理场景。 因此，处理是视点不变的。 不利的一面是，计算复杂度与代理数量成线性关系，并与交互数量[6]成二次关系。

实现视点不变性的另一种方法是 GoRela [97] 中引入的成对相对坐标系，它描述代理之间的关系，而不是使用固定的坐标系。 这样就可以离线计算静态对象之间的关系，大大减少了计算量。 PEP [94] 通过使用中心相对坐标而不是成对相对坐标进一步减少计算量，即在每次变换之前将坐标系移动到所有处理过的智能体的平均位置。

提高鲁棒性的另一个选择是 Frenet 表示，它将位置分解为沿车道的进度和横向偏移[98, 99]。 目标车辆定义的单个 Frenet 坐标系用于所有代理 [100]，或者每个代理在单独的坐标系 [84, 101] 中表示。

图3： 在基于深度学习的自动驾驶预测、规划和手动 IPPS 研究领域的贡献受到关注。 每个条目的节点、主干和标签编码不同的方面，这些方面在时间线下方进行了解释。 标记为 $\uparrow$ 和 $\downarrow$ 的作品分别在时间轴上稍微上下移动，以避免重叠。

3.2 交互建模

预测的一个决定性方面是对场景 [4, 137] 中表示的交通代理之间的交互进行建模。 这包括与地图元素和其他交通代理的交互。 对车辆与车道标记、交通标志等静态地图元素之间的关系进行建模对于了解可在其中定位轨迹的可行走廊非常重要。 与其他流量代理的交互对于理解社交交互至关重要。

RNN。 一些早期的预测模型，如 DESIRE [8] 或 Trajectron++ [40] 将 RNN 与空间池或注意力等聚合算子结合起来。 他们要么提取每个代理的时间特征，然后在所有代理之间聚合它们，要么首先聚合信息，然后提取联合时间特征。

CNN。 另外，《速度与激情》[102]、MTP [54] 和 Multipath [56] 应用 2D 卷积来隐式捕获内核内的交互尺寸。 与基于序列处理的方法相比，空间交互更加重要。

GNN 和 Graph-Attention 通过组合多个智能体的特征 [138] 并使用图卷积算子对其进行处理来显式建模各个智能体之间的交互[139, 73, 140 , 141] 或图形注意力 [142, 143, 144, 145] 来聚合信息。 预测网络，如 VectorNet [74]、LaneGCN [41]、TNT [75]、HOME [104] 、DenseTNT [106]、GOHOME [84]、Multipath++ [38]、LaFormer [111] 和BAT [114] 就是这种发展的例子。

Transformer [83]在预测中被广泛采用：InteractionTransformer [146]、mmTransformer [76]、AgentFormer [105]、场景变换器 [6]、HiVT [108]、Wayformer [109]、运动变换器 [110]、MotionDiffuser [112]、Trajeglish [113]0> 以及许多进一步的作品 [147, 148, 149, 150, 110 , 151, 152, 153, 154, 155, 156]1>利用Transformers的全局感受野和注意力机制。 所有 SV 都可以同时预测[76]，并且车辆在不同时间步长对彼此行为的影响可以使用注意力层[105]进行建模。 注意力层可以沿着空间和时间维度联合应用[105]，也可以单独应用[157]。 后者可分为顺序[158, 159]和交错[6, 109]架构。 Wayformer [109] 和 SceneTransformer [6] 的实验表明，联合和交错处理优于顺序方法。 由于联合处理会导致更高的计算负担，因此交错范例在性能和计算需求之间取得了最佳平衡。

图3中的时间线反映了交互模型如何与场景表示一起变化。 在早期作品中将 CNN 和 RNN 应用于光栅化场景表示后，自从稀疏表示出现以来，GNN、注意力和 Transformer 就接手了。

在所有架构中，普遍的概念是将交互从本地范围扩展到全球范围。 HiVT 的消融研究[108]表明，局部和全局注意力都有利于预测，并且分层注意力产生最佳性能。

3.3 轨迹解码

预测的最后一步是从潜在特征生成轨迹。 正如在 2 章中所介绍的，这一步骤是对给定观察结果 $\overline{\text{X}}$ 和场景上下文 $I$ 的未来可能轨迹 $\overline{\text{Y}}$ 的概率分布 $P_{\text{pred}}=P(\overline{\text{Y}}|\overline{\text{X}},I)$ 进行建模。 在这里，我们重点关注轨迹解码的两个主要方面：多模态建模和解码原理。

多模态。 SV 的意图本质上是不确定的，使得 $P_{\text{pred}}$ 成为多模态 [160]。 因此，$P_{\text{pred}}$通常要么表达为显式密度函数，要么用离散轨迹集估计。

显式密度函数。 一种直观的预测方法是对 $P_{\text{pred}}$ [61, 66, 69, 70] 的概率密度函数进行显式建模。 连续分布，例如双变量高斯分布 [161]、高斯混合模型 [110, 162, 132] 或离散栅格化热图 [104, 84]可以在很多预测作品中找到。 或者，可以使用与对象无关的表示，例如占用图 [53, 163] 或流场 [164, 165, 70]。 这些表示隐式地处理多模态[61]，并且对于扰动[62]具有更强的鲁棒性。 然而，由于没有解码离散轨迹，因此很难将此类表示与专家日志进行比较以进行性能评估。

离散轨迹集可以通过从中间分布中采样或通过模型设计来创建。 要从中间分布中采样不同的轨迹集，可以使用生成模型，例如生成对抗网络 (GAN) [166]、条件变分自动编码器 (CVAE) [167]、归一化流[168]或去噪扩散[112]，可以使用[8,89,169,170,171]。 或者，最近的方法将多个预测头应用于由公共主干提取的特征，以解码一组不同的轨迹[38,41,172,109]。 获得多样化预测的其他方法包括训练损失函数 [75]、熵最大化 [39, 173]、基于方差的非极大值抑制 [174]，贪婪目标采样[55, 97]，分而治之策略[175]，均匀间隔的目标状态[176]，或使用预定义的锚轨迹[56, 177]。 然而，只能通过指定高级行为 [124] 或必须被至少一个预测覆盖的地图区域来保证覆盖范围 [76] 。

解码原理。 我们将解码原理分为单样本、双样本和n样本方法，如图4所示。 虽然计划将轨迹解码为一系列动作，并使用运动学模型转换为笛卡尔空间（参见第 4.2 节）是一种常见的做法，但只有少数作品在预测中这样做[178, 179]。 相反，未来的路径点是直接根据潜在特征[41,38,111,109,180]预测的。

单次方法分为轨迹回归和锚定轨迹分类。

轨迹回归使用神经网络（通常是 MLP）直接将潜在特征解码为轨迹[54, 74, 41, 38, 6, 107, 108, 109]。 特别是基于 Transformer 的架构使用直接轨迹回归解码（参见图 3)。 然而，这些方法很容易预测离开道路、抄近路或运动学上不可行的轨迹[97]。 专门设计的越野驾驶损失函数[181,182,39,183,184]、行驶方向合规性[185]或到中心线的距离[186] 可以缓解这个问题。

锚点轨迹分类将预测表示为分类任务。 因此，估计一组预定义轨迹[55, 177]的概率。 定义锚轨迹可以确保预测的可行性并允许施加硬运动学约束。 然而，锚点可能无法覆盖罕见的轨迹。

Two-shot 方法将轨迹解码构造为有意义的子任务，这些子任务提高了可解释性，并且比锚点轨迹分类更灵活。 它们包括终点和完成以及初始轨迹和细化策略。

端点和完成方法基于轨迹主要由其端点[25]定义的假设。 端点可以回归 [104]、[84] 或从预定义集合 [75]、[ 106],[97]。 通常，基于分类的方法还会回归分类端点 [75] 的偏移量。 HOME [104] 将端点概率分布估计为栅格化地图，对潜在端点进行采样，然后使用 MLP 回归轨迹。

初始轨迹和细化方法结合了锚点轨迹分类和端点和完成的思想。 代替端点，对初始轨迹进行分类或生成。 然后，细化步骤例如通过每个预测路点[102,56,111]的偏移回归来调整轨迹。 TPNet [187] 和 DCMS [188] 首先回归端点，然后生成轨迹建议，最后对其进行细化。

N-shot 方法是初始轨迹和细化或自回归公式。 n-shot 变体中的

初始轨迹和细化 策略与 2-shot 版本类似。 唯一的区别在于细化步骤，它是作为循环优化[8, 112]实现的。 例如，MotionDiffuser [112] 对噪声轨迹进行采样，并重复应用去噪扩散来细化轨迹。

自回归方法使用循环解码来逐步推出到未来。 迭代地预测下一个路径点，并将结果场景的信息添加到潜在特征[103,189,40,76,105]中。

自回归解码有助于加强高质量的社交互动和场景理解[97]，但可能会导致复合错误，因为预测信息用于进行进一步的预测[190]. 此外，这些方法的计算工作量和计算时间通常高于单次或双次方法。

图3显示了使用本节中定义的类别进行轨迹解码的发展。 虽然端点和完整解码越来越受欢迎，但自回归公式最近使用得较少，可能是由于计算时间不足。 轨迹回归解码一直被使用，但随着基于 Transformer 的交互建模在预测中的兴起而变得流行。

图4： 轨迹解码原理。

3.4 基准

各种预测数据集提供用于基准测试的训练、验证和测试分割。 最突出的是 nuScenes [191]、WOMD [192]、Argoverse [193]、Argoverse2 [194]、inD [195]、highD [196]、roundD [197]、exiD [198]和交互[199]。 通过将 SV 的预测轨迹与其地面真实未来轨迹进行比较来进行评估。 考虑到固有的多模态基准通常基于赢家通吃的评估。 这意味着模型预测固定数量的输出轨迹，例如 6 个 [194] 或 10 个 [191]，并且评估仅考虑其中最好的一个。 或者，输出参数分布的预测器通常根据预测分布下的真实值的负对数似然 (NLL) 进行评估。 该评估还考虑了模型预测的不确定性，并评估整个分布而不是仅评估单个轨迹。

4 规划

规划任务是根据观察结果$X_{\text{EV}}$和$X_{\text{SV}}$找到电动汽车的轨迹$Y_{\text{EV}}$，该轨迹考虑了安全性、舒适性、运动可行性和目标导向性> 以及附加上下文 $I$ 和可选的 ${\overline{\text{Y}}}_{\text{SV}}$（参见第 2 节）。 在本节中，我们将首先全面概述常见输入(4.1 节）和输出表示(4.2 节）。 然后，我们在第二节中讨论目标调节。 4.3 在我们对现有作品进行分类并在第 2 节中讨论常见范例之前。 4.4。 最后，我们在第 2 节中简要描述了现有的基准。 4.5。

4.1 输入表示

我们将规划输入表示分类为可解释的中间表示和潜在特征。

可解释的中间表示，例如光栅化或稀疏场景表示（在第 3.1 节中进行了深入讨论）是模块化 ADS 中规划组件的常见输入。 因此，存在许多基于光栅化 [58, 67, 124, 200] 或稀疏输入 [125, 131, 201, 130, 24] 的作品。 与预测类似，从栅格到稀疏输入可以观察到明显的趋势。

潜在功能。 E2E ADS 直接将传感器信息映射到操作（参见图 1)[9, 202, 20]。 因此，规划器的输入不是 $X_{\text{EV}}$、${\overline{\text{X}}}_{\text{SV}}$ 和 $I$，而是潜在特征。

使用学习到的潜在中间表示的好处是不需要手动工程工作来设计不同模块之间的接口。 手工设计的界面的主要缺点是它们必须适用于潜在驾驶场景的长尾分布，并且界面丢弃的每条信息都无法恢复。 例如，如果一辆车当前被遮挡，但可以通过另一辆车的前灯反射、边界框表示 [58]、占用字段 [70] 来推断其存在t1> 或功能可供性 [115, 119] 将无法将此信息传播到下游模块 [203, 133]。 相反，潜在特征表示允许不确定性传播，使下游模块能够补偿早​​期阶段的错误，例如未检测到的车辆[61]。

潜在特征表示的主要缺点是缺乏可解释性。 如果发生故障，评估系统的哪个部分导致了错误是极其困难的。 这加剧了纯E2E系统的调优和调试。 可解释的 E2E 系统试图通过生成额外的中间表示[66]来弥补这一点。 与模块化堆栈相比，规划器不使用这些可解释的中间输出。 相反，它们仅用于额外的监督和模型自省。

图 3 中的时间线表明，与潜在输入特征相比，可解释的输入表示变得越来越流行。

4.2 输出表示

规划输出通常表示为一系列未来状态或控制操作。

未来状态由一系列未来 2D 位置和航向角给出，代表电动汽车随时间变化的计划轨迹[22,62,58]。 然后，该轨迹被传递到负责跟踪它的下游控制器[22]。 轨迹表示具有良好的可解释性，并且可以轻松检查是否存在碰撞、违反交通法规或偏离可行驶表面[129, 68]。 此外，它与受控车辆的运动学参数无关，可以推广到其他车辆。 然而，最终的驾驶性能还取决于下游控制器以及规划器和控制器相互调整的程度。 验证和测试系统可能需要两个组件之间的迭代，这会减慢开发速度。

未来行动是计划行为的另一种表示。 这主要被 E2E ADS 采用，无需中间轨迹表示[117,118,119]即可回归加速度和转向角。 除了确保运动可行性外，它还可以提高舒适度，因为它与动作的幅度直接相关。

但是，最终的行为取决于受控车辆的个体动态[204, 19]。 因此，对其他车辆的推广是有限的。

图3描绘了早期E2E ADS在行动中的计划，而轨迹输出最近变得流行。

4.3 目标调节

ADS 的总体任务是安全导航至目的地。 因此，目标导向性是决定潜在计划是否适用的主要标准之一。 车道级路线信息可以通过导航系统提供给规划者。 流行的基准通过“左转”或“直行”等高级命令[205]，通过沿路线的稀疏目标点[205]提供路线信息或者通过将地图内的车道注释为路线内或路线外[206]。 例如，在广泛使用的 Carla 模拟器[205]中，目标位置沿路线稀疏采样，并且在每个规划步骤中，将最近的目标位置提供给规划器。 我们定义了四个类别来描述如何将目标信息合并到规划算法中：输入特征、单独的子模块、路由成本和路由注意力。 虽然前两个最初是在 [117] 中引入的，但后者是最近在 [201, 207, 126, 208] 中提出的。

输入特征是合并目标信息的最直接方式，并已被广泛采用[120, 20, 124, 209, 210, 24, 63, 64, 118, 23, 122]. 根据路线信息的表示方式，存在不同的方法将此输入传递给规划模块。 如果地图信息中的车道被注释为在路线或偏离路线，则该信息可以用作栅格地图[58]中的单独语义通道。 类似地，描述车道中心线的矢量输入可以有一个反映此信息的附加标志[201]。

LBC [124]、LAV [67] 和 AD-MLP [208] 中使用高级命令作为输入功能t3>. 研究发现，在网络的不同阶段重复输入高层意图可以提高其泛化能力[23]。 Transfuser [20] 在最终轨迹解码步骤中利用稀疏目标位置作为 2D 特征。

虽然使用目标信息作为输入特征很简单，但不能保证目标符合性。 相反，[201, 117] 证明该模型可以忽略此额外输入，而是依赖其他潜在的虚假相关性，例如当前和未来运动状态之间的相关性。

单独的子模块仅与高级命令一起使用，用作特定于命令的子模块[117, 70]之间的切换。 在此设置中避免平衡数据集以防止其受单一驾驶模式（例如车道跟随）支配，因为每个块仅接受单个高级命令的训练。 然而，这种方法需要预先定义固定数量的高级命令。

路由成本。 第三种选择是通过优化路由[66,69,62]的成本项来规划轨迹。 此类成本函数可以测量到目标位置[62]的剩余距离、沿路线的进度或到路线车道[66]的距离。 目标导向性与安全性和舒适性等进一步竞争的目标相平衡。 因此，规划器可以灵活地应对困难情况，例如，它可以驶离道路以防止碰撞。 然而，安全性和舒适性与进步之间的权衡可能是不可取的。

路线注意力将空间注意力应用于地图的相关部分，即路线。 这可以通过从输入要素中删除地图的偏离路线部分来实现，例如，PDM-Open [126] 和 PEP [94] 丢弃几乎整个地图信息，仅保留路线上车道中心线上的点。 类似地，GC-PGP[201]在信息聚合后从车道图中删除偏离路线的节点，TPP[134]和DTPP[136] 丢弃所有不符合路线的 EV 轨迹建议。

图 3 显示早期模型根本没有以目标为条件来制定计划。 之后，子模块和输入功能占主导地位。 虽然使用输入功能很容易实现，但效率较低，而子模块代表了主要的架构约束。 最容易解释的方法是使用路由成本函数。 最近的模型引入了路线注意力，更加灵活。 路由注意力和路由成本都允许以训练数据集中未反映的目标为条件，从而提高泛化能力。

4.4 规划范式

回想一下方程式中的内容。 5 我们将计划定义为一个从观察输入 $X_{\text{EV}}$、${\overline{\text{X}}}_{\text{SV}}$、$I$ 映射的函数 $f$ 和预测${\overline{\text{Y}}}_{\text{SV}}$到轨迹$Y_{\text{EV}}$。 下面我们重点关注规划函数$f$。为此，我们将 $f$ 分解为两部分：提案生成器 $g$，生成一组多个可能合适的轨迹 ${\widehat{Y}}_{\text{EV}}^{(i)},i=1,..,N_{\text{proposals}}$ 和提案选择器 $h$ 从建议的集合中选择最终计划$Y_{\text{EV}}$。 因此，在这项工作中，我们建议将规划函数 $f$ 表示为

$$f=h(g(X_{\text{EV}},{\overline{\text{X}}}_{\text{SV}},I,{\overline{\text{Y}}}_{\text{SV}}).$$ (7)

基于此，我们区分了规划任务采用的三种不同范式：成本函数优化、回归和混合规划。

成本函数优化。 由于规划的目的是找到一条优化安全、舒适和进度等目标的轨迹，因此设计和优化成本函数来平衡这些潜在冲突的目标是一种自然的方法。 基于成本函数的规划方法[121,61,211]完全依赖选择函数$h$来找到合适的轨迹，即

$$h=\underset{i}{argmin}c\left({\widehat{Y}}_{\text{EV}}^{(i)}\right),$$ (8)

其中$c$是计划轨迹的成本函数。 因此，提案生成器$g$可以随机采样可行的运动轮廓[61]或通过聚类真实世界的专家演示[70]来获得它们。 传统的非基于学习的方法依赖于手工制作的成本函数[212,213,214,215,216,217,218,123]。 然而，设计一个成本函数来有效地平衡这些目标并推广到可能的驾驶场景的长尾分布是具有挑战性的。 基于学习的方法旨在通过直接从专家演示中学习成本函数来解决这个问题[219,220,103]。 类似地，[119, 115] 学习回归与驾驶相关的可供性，例如与前车的距离或相对于车道的航向角，下游控制器据此推断驾驶命令。

学习到的成本函数可以是非参数的[61, 221, 222]或包含手工设计的子成本，其中仅学习权重[69, 70, 66, 121]。 NMP [61] 的非参数成本函数为规划范围内的每个潜在的未来 EV 位置分配成本，并表示为 3D-BEV-Tensor。 相比之下，手工设计的子成本通常评估安全性、舒适性、交通规则合规性和进度[121,70,66]。

回归方法完全依赖于提案生成器$g$。选择函数$h$是恒等式，所有负担都放在提案生成器$g$上，它只生成单个提案$Y_{\text{EV}}={\widehat{Y}}_{\text{EV}}^{(1)}$。 E2E方法就属于这一类。 回归方法可以通过监督学习[223]学习直接预测未来路径点[201,20,24]或动作[9]。 这种形式的模仿学习，即从专家数据中进行监督学习，称为行为克隆（BC）[224, 190, 225]。 这种方法使得成本函数的手动设计变得过时。 然而，BC 模型很容易受到分布变化的影响，当模型达到训练数据未涵盖的状态时，就会发生分布变化。 此外，回归轨迹通常不能保证运动学上可行。 UrbanDriver [24] 直接在闭环模拟中通过模型来应对这一问题。 然而，这要求整个模拟器是可微的。 CW-ERM [226] 在不可微的模拟中推出该策略，以识别重要的训练场景并分配样本权重。

混合规划描述了结合这两种想法的方法。 首先，提案生成器 $g$ 对一组候选轨迹进行回归，然后使用 $h$ [227] 中的成本函数选择最佳轨迹。 例如，[130, 131, 228, 229, 132] 对提议的轨迹执行碰撞检查，以排除不安全的提议。 在这种情况下，通常仍不清楚总体目标的哪些部分是由提案生成器执行的，哪些部分是由成本函数执行的。

图3显示回归是E2E系统的主导规划范式。 基于成本函数的规划主要应用于 Uber ATG 和多伦多大学研究人员的工作中[68,66,69,70]。

4.5 基准

存在不同的方法来评估规划方法，即开环评估和闭环仿真。

开环评估类似于预测任务中的评估。 它将规划器输出 $Y_{\text{EV}}$ 与专家规划器 $Y_{\text{GT}}$ [230] 的输出进行比较。 然而，这并没有赋予规划者对 EV 的控制权，并且忽略了由复合误差和分配变化引起的问题[231]。 更严重的是，最近的研究表明开环评估结果与驾驶性能并不相关[126, 232]。

相比之下，闭环模拟让规划者控制 EV。 评估不是仅仅将规划者的输出 $Y_{\text{EV}}$ 与专家规划者的输出 $Y_{\text{GT}}$ 进行比较，而是基于舒适性、安全性和进度的指标。 因此，闭环评估与现实世界的驾驶更好地相关，但需要模拟器来让模型与其环境交互。 著名的模拟器有 Carla [205]、nuPlan [206]、Waymax [233]、Highway-Env [234] 和 CommonRoad [235]。 Carla 是一个涉及传感器模拟的高保真模拟器，而 nuPlan、Waymax、CommonRoad 和 Highway-Env 在 Abstract 对象表示（例如边界框）上运行，无需渲染相机或激光雷达传感器。 为 Carla 模拟器[232,236,237,20]提出了许多基准数据集。 然而，这些场景纯粹是合成的，这质疑其对现实世界的普遍性。 相比之下，nuPlan 和 Waymax 遵循数据驱动的方法，该方法使用现实场景的记录来初始化模拟。 因此，用户可以访问相应的大规模现实世界数据集来训练他们的方法，然后再将其部署到模拟中。 CommonRoad 与几个较小的数据集[195, 196, 197, 198, 199]兼容。 Highway-env 基于简单的合成环境。

在模拟常规驾驶场景时，罕见和关键场景的代表性自然不足。 这个问题可以通过数据管理[238, 239]或额外的测试用例生成来解决。 这些可以手动生成[240, 241, 242, 243, 244, 245]，也可以根据记录的驾驶日志[246, 247, 248]自动生成。 其他方法通过增强场景 [249, 250, 251, 252, 253, 254, 255, 256] 或场景本身 [257, 258, 259, 260, 261]。 同样，[5, 64] 通过手工制作的场景更密切地研究人机交互——这是一般驾驶情况下不被关注的一个方面。

闭环评估的另一个主要挑战是真实地模拟 SV。 诸如 Highway-Env [262] 之类的简单模拟器依赖于遵循预定义轨迹 [263] 的非反应代理。 在 nuPlan 和 Waymax 的非反应式版本中，这些轨迹是从现实世界的记录中获得的。 但是，如果 EV 在录制过程中的行为与专家不同，则可能会导致 SV 引起碰撞，因为它们不会对 EV 做出反应。 因此，这种模拟通常仅限于短序列，其中 EV 保持接近专家的轨迹[264]。 Carla、nuPlan 和 Waymax 还为 SV 提供了反应式驾驶员模型，例如智能驾驶员模型 (IDM)[16,17,265,266,267,268]。 另一项工作重点是基于学习的方法来模拟现实驾驶行为[269,270,271,272,273,274]。 在Waymax [233]中，用户可以插入自己的模型来控制场景中的对象。

5 整合预测和规划

图5： 整合原则、自我与代理关系和成本函数之间的联系。 机器人领导者规划的红色箭头表明应用这些成本函数类别是可能的，但缺乏彻底的实证评估。 我们强调这是未来研究的一个有趣方向。

在回顾了 ADS 中规划和预测组件的接口和架构等关键方面之后，我们改变观点并讨论了 IPPS 的属性。 我们将特别强调 IPPS 中的设计决策对交互场景中行为的影响。 我们将首先根据 IPPS 的组成部分对现有作品进行分类（第 5.1 节）。 然后，我们将描述模块化集成系统中设计选择对交互行为的影响（第 5.2 节）。 随后，第 2 节讨论了模块化集成系统中安全和应急的不同概念。 5.3。 最后，第二节。 5.4 讨论了这些类别的可能组合。 图5提供了概述。

5.1 集成原则

在这项工作中，我们区分了 IPPS 的三种设计原则。 概览如图6所示。

整体 E2E 规划描述了 IPPS 由单个 E2E 规划器组成的方法，该规划器映射状态输入 ${\overline{\text{X}}}_{\text{SV}}$、$X_{\text{EV}}$ 和 $I$ 到 EV 的轨迹 $Y_{\text{EV}}$。 因此，SV 的未来行为以及它们之间以及 SV 和 EV 之间的交互并未明确建模。 然而，E2E 规划者在训练中学习模仿的专家行动是基于对未来将如何展开的推理。 通过学习模仿动作，模型也可以表现出隐含基于这种推理的行为。

例如，考虑电动汽车的前车制动的场景。 专家或人类驾驶员将根据未来可能出现的安全裕度缩小并因此制动的情况做出驾驶决策。 因此，模仿专家行为的端到端规划者会隐含地基于预测的未来做出决策。

由 Pomerlau [9] 首创，有大量关于基于整体 E2E 规划器的 IPPS 的文献[19, 116, 117, 118, 22, 62, 10, 63、64、23、67、122、236、24]。 主要缺点是它们的黑盒性质，这使得模型自省和安全验证变得困难。

可解释的 E2E 规划框架预测作为辅助学习任务[58,61,120,125]。 显式预测是与规划任务联合训练的附加模型输出。 通常，共享主干对用于这两个任务的特征进行编码。 然后，单独的头对各自的输出表示进行解码。

附加目标向骨干网提供学习信号。 它充当正则化的角色，可以使学习过程的样本效率更高，并可以提高泛化能力[58,124,119]，正如之前在预测和规划中的其他辅助任务（如速度预测）中所演示的那样[64]、语义映射[275]和占用率预测[66]。 然而，额外的学习目标会导致不同任务之间的权衡，通常会产生一个平衡各自损失的超参数，并且必须根据经验进行调整。

与单一的端到端规划相比，显式预测增加了可解释性并有助于自省。 尽管如此，这两种IPPS设计都无法提供安全保证。 因此，我们将驾驶性能的提高归因于附加目标的正则化效果。

规划器与预测模块的手动集成意味着每个任务都采用单独的子系统。 这两项任务的相互作用是根据领域知识手动设计的。 最广泛采用的集成是顺序管道，其中首先推断预测模块，并将其输出馈送到后续规划模块[70,66,69,123]。 由于这种设计无法反映 EV 计划对 SV 的影响，一种替代方案是交换预测和规划的顺序：首先生成候选计划，然后是条件预测模块。 然后，在候选[129, 134]中选择EV的最佳计划。 替代方法在预测和规划之间迭代[276]或联合执行两者[132]。 下面，我们按时间顺序概述不同的模型，并重点介绍预测和规划的集成设计。

(a) Monolithic E2E IPSS

(b) Interpretable E2E IPSS

(c) Manually Integrated IPSS

图6： IPPS 设计原则展示了如何集成预测和规划。 整体式 E2E 方法 (a) 不使用显式预测，而可解释的 E2E 方法 (b) 将其用作训练中的正则化。 手动集成的 IPPS (c) 使用手工设计的界面将模块化预测与模块化规划方法结合起来。

PRECOG [65] 使用概率模型进行条件多智能体预测。 它联合实现了 EV 和 SV 的自回归轨迹解码。 在每个时间步骤，所有代理的状态都会更新并用作下一个更新步骤中所有其他代理的输入。

PiP [129, 277]与IPPS的观点相反。 其核心思想是 SV 根据 EV 的行为而表现不同。 轨迹生成器提供一组独立于 SV 的候选计划。 然后将每个候选计划用于条件预测。 最后，使用成本函数选择最佳计划。

DSDNet[68]结合了端到端和模块化模型设计。 每个顺序神经网络模块还可以访问感知主干的高维特征，符合场景上下文对于稳健规划很重要的假设[20]。 对于每个检测到的车辆，预测一组潜在的未来轨迹。 为了从采样的候选集中选择 EV 计划，应用了手工设计的成本函数，该函数量化了 EV 候选轨迹和 SV 预测轨迹的碰撞概率。

P3 [66]、LookOut [69] 和 MP3 [70] 使用成本函数来链接预测和规划。 P3 预测占用图，LookOut [69] 使用预测轨迹来评估不同的预定义 EV 候选轨迹。 MP3 [70] 通过预测在线地图将 P3 扩展为无地图方法。 包含检测和预测的“动态状态图”与预期路线一起使用来评估潜在的轨迹。

SafetyNet [130] 并行应用具有隐式预测和显式预测模块的整体 E2E 规划器。 在 EV 计划和 SV 预测之间执行多次碰撞检查。 如果初始计划被归类为不安全，则手工制作的后备层会生成车道对齐的轨迹。 SafePathNet[131] 通过 Transformer 模块改进了 SafetyNet [130]，用于联合预测和规划。 在专家混合方法中，对多种模式进行预测和排序。 通过检查与最可能的 SV 预测的冲突来更新排名。 最后，选择得分最高的 EV 模式。

DIPP [7] 联合预测所有智能体的轨迹，包括被视为 SV 的 EV。 为每辆车选择概率最高的模式。 然后，可微非线性运动规划器在考虑运动学模型和手工制作的成本函数的情况下执行迭代局部优化。

受分层博弈论框架 [278, 279, 280, 281] 的启发，GameFormer [132] 将代理之间的交互建模为一个级别 -$k$游戏[282, 283]。 因此，Transformer 解码器通过基于上一级别所有智能体的预测行为迭代更新各个预测，对所有智能体（包括 EV）之间的交互进行建模。 因此，该模型可以对包括 EV 在内的所有智能体进行联合预测。

UniAD [133] 实现了一个基于规划目标进行端到端训练的模块化系统。 查询用作子模块之间的接口，以便规划模块可以处理先前网络层的代理级功能。 各种工作采用或扩展了这种方法：VAD [135] 和 Hydra-MDP [284] 使用先前层的输出明确进行碰撞和地图合规性检查。 PPAD [276] 根据感知模块的输出在预测和规划之间重复迭代，GenAD [285] 采用生成解码器来联合回归 SV 和 EV 轨迹。

TPP [134]、DTPP [136] 和 MBAPPE [286] 表示场景树中的多个未来结果，其中分支反映了 SV 的组合预测和电动汽车计划。 通过树搜索获得最佳计划。

与其他集成原则相比，手动集成需要更多的工程工作，但通过合并先验知识以有意义的方式限制了解决方案空间。 通常，手动集成的 IPPS 提供比 E2E 系统更高的可解释性和更安全的计划[287, 131]。

图 3 中的时间线显示了早期工作如何主要依赖于整体 E2E 设计中的隐式预测。 从 ChauffeurNet [58] 和 PRECOG [65] 开始，显式预测变得更加流行。 最近，E2E 可微分模块化组件的手动集成变得流行[203, 133]。

5.2 自我与代理的关系

从系统架构的角度回顾了集成原则后，下面我们将从另一个角度，即预期的自我与代理关系来分析手动集成类别。 这在高度交互的场景中特别重要，因为电动汽车需要根据周围智能体的观察和预期行为来做出驾驶决策。 然而，正如[5]所指出的，EV也需要意识到它可以影响他人的行为。

例如，在图7的示例中，EV的计划也会影响SV的行为：如果它更快地接近交叉路口，SV可能会减速并屈服于电动汽车。 为了描述在规划步骤中是否以及以何种方式考虑电动汽车与周围交通的相互作用，[5]引入了以下四个类别：机器人领导规划、人类领导规划、协作规划——领导规划、联合规划。 在这种情况下，人类指的是周围的交通，而机器人指的是自动驾驶车辆。 下面，我们简要描述这些类别并讨论现有的工作。

机器人领导者规划。 EV计划是根据当前状态推断的，整个环境的预测步骤以此为条件。 因此，EV 可以有效地寻求让 SV 对其轨迹[88,128,127]做出反应。 这可能会导致攻击性驾驶行为。 例如，在图7的例子中，EV会推断，当它遵循快速进展的计划时，观察到的SV将屈服于它以防止碰撞。

人类领导者规划与机器人领导者规划相反。 该计划基于 SV [61,62,70,66] 的预测行为。 因此，EV 表现出反应行为。 它没有对 EV 计划对 SV 的影响进行建模，这可能导致不自信的行为[5]。 IPPS 就是按顺序进行预测和计划的情况。 在无保护的右转示例中（参见图 7)，EV 尝试根据两个预测的 SV 行为找到合适的计划，但没有意识到它会影响它们。 因此，它将有利于较慢的计划。

联合规划描述了意识到车辆（包括自我）相互交互的系统。 EV 的计划是通过对所有智能体[288]进行全局优化获得的。 因此，IPPS 系统在存在最佳结果的假设下确定性地近似联合目标[289]。 因此，它错误地假设用于 SV 的行为模型是完全已知的，并且每个流量参与者都优化了相同的全局目标。 例如，如果图 7 中的 EV 在接近 SV 之前挤入，则这对于合理的全局目标而言可能是最佳的。 尽管如此，并不能保证 SV 会做出相应的行为。 因此，[5] 演示了这如何导致致命错误。

联合领导者规划是最复杂的范例。 它模拟了 SV 未来潜在行为对 EV 计划的影响以及他们对潜在自我轨迹的反应[290,291,5]。 与联合规划类别相反，周围智能体的行为不被假定为确定性的。 EV 必须在规划步骤中考虑这种不确定性，例如，为多种未来结果做好准备并做出相应反应。 此外，联合领导规划期望 SV 为 EV 的不同潜在行为制定计划。 EV 可以通过让 SV 透露其意图的方式来利用这一点，从而让 EV 制定更自信的计划。 例如，在图7的示例中，EV可以尝试缓慢接近交叉路口以引起SV的反应。 该反应可以指示 SV 将要转弯（例如，发出转向信号或通过减速），或者相反，即加速，以指示 SV 将继续直行。 前者将使电动汽车能够自信地决定支持进度更快的计划。 CfO [5] 最初引入了这种范例，利用标准化流将多智能体行为表示为自变量的学习耦合。 然而，这种架构的复杂性可能会给更广泛的采用带来障碍。 此外，他们的基准测试非常简单，仅包含少数具有硬编码代理行为的场景。 TPP [134] 提出了一个易于理解的树形结构框架，用于实施联合领导者规划。 它涉及对电动汽车的运动学上可行的轨迹进行采样，然后对每个轨迹进行调节预测。 用于预测的自回归公式可确保因果关系：它可以被视为一种使用 SV 预测和 EV 计划推出场景的方法，使得两者只能访问观测历史记录，直到各自的推出步骤。 最后，通过动态规划算法选择最佳的 EV 轨迹建议。 DTPP [136] 通过基于 Transformer 的条件预测模块扩展了这一点，该模块允许同时预测以多个 EV 计划为条件的所有代理。 它还用可学习的成本函数取代了动态程序，并应用节点修剪来减少计算负担。 尽管如此，EV 对预测的反应完全由成本函数接管，因为采样的自我建议相对于 SV 预测是无反应的。

图3表明没有观察到其中一种范式的明显趋势。 虽然联合领导者规划在理论上是最有能力的范式，但尚未通过经验证明这四个理论概念中的一个是否优于其他概念以及如何在系统架构的设计中实现它。 这也可能与缺乏关注互动行为的全面实证基准有关。

5.3 安全和应急

图7： 演示无保护右转时的应急情况。 让我们假设观察到的 SV 的两个预期未来行为，即 $Y_{\text{SV}}^{(1)}$ 和 $Y_{\text{SV}}^{(2)}$，概率为 $P(Y_{\text{SV}}^{(1)})=0.2$ 和 $P(Y_{\text{SV}}^{(2)})=0.8$。 EV 的两个候选计划被认为是 $Y_{\text{EV}}^{(1)}$（紫色）和 $Y_{\text{EV}}^{(2)}$（橙色）。 虽然紫色计划仅在不可能的预测 $Y_{\text{SV}}^{(1)}$ 发生时才是安全的，但橙色计划在所有预测下都是安全的。 因此，在最坏情况的假设下它是首选。 当使用边缘化预测进行规划时，成本函数必须在紫色计划的高进度和不太可能发生的预测$Y_{\text{SV}}^{(1)}$发生时的潜在安全风险之间进行平衡。 应急计划人员可以利用两个候选计划都有共同的短期行动这一点。 因此，它可以选择紫色计划，因为它知道它仍然可以重新计划并退回到橙色计划。

上面讨论的自我与代理关系类别强调，考虑多种潜在的未来场景对于安全和应急计划至关重要。 接下来，我们将讨论如何将其合并到我们定义为规划函数 $f=h(g(X_{\text{EV}},{\overline{\text{X}}}_{\text{SV}},I)$ 一部分的成本函数组件 $h$ 中（参见第 4.4)。 我们将分析不同设计选择对安全和意外事件的影响。 为此，我们引入以下符号：我们用$N_s$表示相关未来场景的数量。 这些场景可以通过描述每个场景中 SV 行为的多项分布 $P\left({\overline{\text{Y}}}_{\text{SV}}^{(i)}\right),i=1,..,N_s$ 来反映。 根据这种分布在IPPS设计中的体现，我们形成了以下三组关于安全和应急的现有方法：边缘化预测规划、最坏情况规划和应急规划。 图 7 中简要概述了它们。

边缘化预测规划描述了没有明确区分多个未来场景$N_s$的IPPS。 这意味着预测 ${\overline{\text{Y}}}_{\text{SV}}$ 相对于未来结果 ${\overline{\text{Y}}}_{\text{SV}}^{(j)}$ 被边缘化。 这可以明确地完成，即通过对场景概率 $P\left({\overline{\text{Y}}}_{\text{SV}}^{(j)}\right)$ 进行积分

$${\overline{\text{Y}}}_{\text{SV}}=\sum _j^{N_s}{\overline{\text{Y}}}_{\text{SV}}^{(j)}\cdot P\left({\overline{\text{Y}}}_{\text{SV}}^{(j)}\right)$$ (9)

或者隐式地，即通过在联合表示中表示所有可能的场景而不是区分场景。 例如，将预测纳入其成本函数$h$并且在评估提案时不考虑单独的未来结果的IPPS就属于此类[61,70,66]。 因此，他们的选择函数采用以下形式

$$h=\underset{i}{argmin}c(Y_{\text{EV}}^{(i)},{\overline{\text{Y}}}_{\text{SV}}).$$ (10)

同样，对于整体式 E2E 类别中的所有系统（参见第 5.1 节）[201, 20, 24, 9, 19] 来说，情况也是如此，因为它们确实如此没有明确考虑多种未来场景，因此——如果有的话——学习边缘化的预测。 从广义上讲，这意味着 IPPS 假设所有$N_s$场景都会在一定程度上同时发生。 从图 7 的示例中可以看出，成本函数需要在不太可能但危险的场景（例如碰撞）与非常可能的低成本场景之间进行权衡。 这对于安全至关重要，因为规划者需要谨慎，尤其是 w.r.t.。 不太可能但危险的事件。

最坏情况规划是指IPPS意识到存在多种未来结果${\overline{\text{Y}}}_{\text{SV}}^{(j)}$。 在此类别中，不考虑概率$P({\overline{\text{Y}}}_{\text{SV}}^{(j)})$。 相反，每个提案都是根据最坏的情况进行评估的。 这一假设背后的动机是，最终的输出轨迹在每种可能的情况下都必须是安全的。 因此，选择函数$h$可以表示为

$$h=\underset{i}{argmin}\underset{j}{\max }c(Y_{\text{EV}}^{(i)},{\overline{\text{Y}}}_{\text{SV}}^{(j)}).$$ (11)

该范例强烈关注避免碰撞，并可能导致过于保守的行为，如图7所示。 虽然这种假设在基于深度学习的预测和规划中并不是一个流行的选择，但它广泛应用于基于规则的安全层，例如 RSS [292]，并且可以被视为规划与规划之间的中间步骤。边缘化的预测和应急计划。

应急计划通过考虑不同的未来场景${\overline{\text{Y}}}_{\text{SV}}^{(j)}$及其概率$P({\overline{\text{Y}}}_{\text{SV}}^{(j)})$，为场景的未知未来发展做好准备。 由此产生的计划可以对冲最坏情况的风险，同时实现预期的进展。 基于成本函数和混合规划范式都可以具有这些属性，并且选择函数$h$采用一般形式

$$h=f_c(Y_{\text{EV}}^{(i)},{\overline{\text{Y}}}_{\text{SV}}^{(j)},P({\overline{\text{Y}}}_{\text{SV}}^{(j)})).$$ (12)

其中 $f_c$ 是条件选择函数。

例如，[69, 287, 293] 找到一个对于短期场景安全的计划（与其概率无关，即最坏情况），并且还优化长期的预期成本地平线（边缘化）。 因此，

$$h=\underset{i}{argmin}\left(\underset{j}{\max }{c}_s(Y_{\text{EV}}^{(i)},{\overline{\text{Y}}}_{\text{SV}}^{(j)})+{𝐄}_j[c_l(Y_{\text{EV}}^{(i)},{\overline{\text{Y}}}_{\text{SV}}^{(j)})]\right),$$ (13)

其中$c_s$和$c_l$分别考虑提案$Y_{\text{EV}}^{(i)}$的短期和长期部分。 在图 7 的示例中，该规划器在确保安全的同时允许最大进度。 CfO [5] 进一步区分了 被动意外事件，其中 EV 取决于 SV [69, 287, 293, 294] 和 主动意外事件，其中 EV 还期望 SV 取决于它[290, 291, 295]。

5.4 可能的组合

在前面的章节中，我们描述了预测和规划方法集成的三种分类方式，即（1）集成原则，（2）自我与代理关系，以及（3）安全性和偶然性。 下面，我们讨论这三个维度的可能组合。 图5显示了概述。 我们的主要见解是，我们描述的类别描述了不同级别的 IPPS 方法之间的差异。 虽然集成原则侧重于高层系统架构，但自我与代理的关系主要基于交互行为。 安全性和意外事件的考虑是建立在成本函数的基础上的，即方案选择的具体设计选择。 下面，我们重点介绍这些类别之间的关联。

如果是整体 E2E [9, 20, 24, 19, 117, 64, 10, 121, 23, 67, 122, 62, 22, 118, 116, 201] 和可解释 E2E [58,61,296]，系统架构的任何部分都没有明确反映预期的交互行为。 因此，他们不能被分配到自我与代理人的关系类别，并且我们将他们的自我与代理人的关系确定为未知。

例如，假设一个模型是根据专家的演示进行训练的，该专家遵循联合领导计划范式并采用应急计划。 鉴于该模型擅长模仿专家，可以假设该模型的行为方式相同。 然而，这并不能保证这一点，并且该模型同样有可能无法有效地推理 SV，从而导致类似于机器人领导者范式的行为。

同样，由于 E2E 模型不使用具有预定义结构的手工制作的成本函数，因此第 2 节中描述的安全和意外事件类别。 5.3不适用于它们。

相反，推断模块化系统的自我与代理关系通常是可能的。 因此，我们可以进一步将手动集成架构分为机器人领导者、人类领导者、联合规划和联合领导者规划。

有大量遵循人类领导范式的手动集成方法（参见图3)。 通过遵循传统的预测和规划顺序方案，[70,66,69,120,68,130]没有模拟自我计划对 SV 的影响。 这可以与三个安全和应急类别中的任何一个组合。 类似于 DSDNet [68]、P3 [66]、MP3 [70]、UniAD [133]、和[297]利用边缘化预测。

虽然应用最坏情况成本函数在理论上是可能的，但大多数能够区分多种未来场景的工作旨在制定应急计划[69,287,293]。

同样，我们认为机器人领导者范式可以与所有三个成本函数结合起来。 考虑一个简单的机器人领导者模型，该模型首先识别潜在的自我计划，然后根据每个计划预测 SV 的未来行为。 EV计划的最终选择可以基于属于这三个类别中每一个类别的成本函数。 然而，现有的工作使用专门的成本函数，不遵循我们在第 2 节中概述的结构。 5.3，例如[129, 134, 128, 88]。 我们想强调的是，系统地将机器人领导者架构与相应的成本函数相结合可能是未来研究的一个有前途的方向。 特别是或有或最坏情况的成本函数可以缓解与机器人领导者规划相关的固有问题，即依靠 SV 为了 EV 的利益以潜在不合理的方式做出反应。

如第 2 节所述。 5.2，联合领导者计划范式产生的主动应急计划意味着 EV 制定应急计划，同时意识到 SV 取决于该计划。 因此，它自然地采用支持应急计划的成本函数。

最后，联合规划范例依赖于优化场景中所有交通参与者的联合成本函数。 因此，安全和意外事件的概念都不适用，我们将这样的成本函数表示为联合成本。

6 展望与结论

根据我们对基于深度学习的预测、规划及其在自动驾驶系统中的集成的概述，我们确定了未来研究的两个核心挑战：系统设计和综合基准测试。 经过双方讨论后，我们得出最终结论。

系统设计。 采用由感知、预测、规划和控制组成的传统的、严格顺序的系统仍然是一种流行的选择。 我们的调查表明，这种方法无法满足驾驶系统的要求。 替代方法将预测和计划结合起来，允许对潜在的自我计划进行条件预测，反之亦然。 尽管如此，目前还不清楚哪种集成架构最有效。 特别是在可解释的端到端系统日益流行的领域，目前还不清楚如何整合预测和规划。

全面的基准测试。 我们讨论了预测和规划整合的不同方面。 然而，没有全面的实证基准来重现和分析它们的优点和缺点。 这样的概述将有助于更好地理解不同的自我与代理关系和安全/应急范式的影响。 这需要在真实且高度交互的场景中进行模拟，并使用周围车辆的真实驾驶员模型和富有表现力的交互指标。 此外，基准必须涵盖极端情况并测试分布变化的泛化。

在这项工作中，我们基于对各个任务和各自方法的全面概述，调查和分析了自动驾驶系统中预测和规划方法的集成。 我们描述、提出和分析了类别，以比较综合预测和规划工作，并强调了对安全和行为的影响。 最后，我们根据已发现的差距指出了未来研究的有希望的方向。