评估自动驾驶中感知模块的性能是开发复杂智能系统中最关键的任务之一。虽然传统计算机视觉任务采用的模块级单元测试指标在某种程度上是可行的，但以一致和整体的方式衡量感知噪声对自动驾驶汽车驾驶质量的影响的探索还远远不够。在这项工作中，我们提出了一个原则性框架，该框架提供了对感知模块中的错误对实际控制车辆的自主代理规划的影响的连贯和系统的理解 ...
最近的视觉语言（VL）研究通过使用 Transformer 模型从大量图像文本对中学习通用表示，然后对下游 VL 任务进行微调，取得了显着的进展。虽然现有的研究重点是通过大型预训练模型实现高精度，但构建轻量级模型在实践中具有很大价值，但探索较少。在本文中，我们提出了一种更小、更快的 VL 模型 MiniVLM，它可以像其较大的对应任务一样在各种下游任务上进行微调，并具有良好的性能 ...
感知周围环境在人类空间感知中起着至关重要的作用，因为它从观察中提取物体的空间配置以及自由空间。为了促进机器人通过这种周围感知能力进行感知，我们引入了一种称为跨视图语义分割的新颖视觉任务以及一个名为视图解析网络（VPN）的框架来解决它。在跨视图语义分割任务中，代理被训练将第一视图观察结果解析为自上而下的视图语义图，指示像素级所有对象的空间位置 ...
最近，视觉识别是通过对人类注释的图像标签数据进行监督学习或通过网络爬行的图像文本对进行语言图像对比学习来学习的。虽然监督学习可能会产生更具辨别力的表示，但语言图像预训练显示出前所未有的零样本识别能力，这很大程度上是由于数据源和学习目标的不同属性。在这项工作中，我们通过将两个数据源组合到一个公共的图像-文本-标签空间中，引入了一种新的公式 ...
近年来，文本到图像的生成因其在各个行业的广泛和多样化的应用而引起了研究人员和从业者的极大兴趣。尽管视觉和语言研究领域取得了进展，但现有文献仍然相对有限，特别是在该领域的进展和应用方面。本文探讨了多模式应用中的相关研究轨迹，包括文本、视觉、音频等 ...
许多领域都可以从大型语言模型（LLM）的快速发展中受益。随着 LLM 支持越来越多的模式，端到端自动驾驶（e2eAD）是面临新机遇的典型领域之一。在这里，通过利用视觉语言模型（VLM），我们提出了一种称为 SimpleLLM4AD 的 e2eAD 方法 ...
本文提出了一种基于个人驾驶偏好的自动驾驶自动驾驶汽车集成控制系统，为自动驾驶汽车用户提供个性化的舒适驾驶体验。我们提出了乘员偏好度量（OPM），它定义了用户首选的横向和纵向加速度区域以及最大允许的急动度。此外，我们提出了一种基于控制参数的车辆控制器，通过自动驾驶车辆的偏好感知操纵实现集成横向和纵向控制 ...
运动规划作为自动驾驶系统的核心部分，受到了学术界和工业界的广泛关注。然而，能够进行时空联合优化的实时轨迹规划受到非完整动力学的挑战，特别是在存在非结构化环境和动态障碍的情况下。为了弥补这一差距，我们提出了一种实时轨迹优化方法，可以在任意环境约束下生成高质量的全身轨迹 ...
我们提出了一种组合缩放方法 - 名为 BASIC - 在 ImageNet ILSVRC-2012 验证集上实现了 85.7% 的 top-1 准确率，而无需从任何标记的 ImageNet 示例中学习。该精度比已发布的同类模型（CLIP 和 ALIGN）高出 9 倍 ...
CLIP 和 DALL-E 等突破性的语言视觉架构证明了对大量噪声图像文本数据进行训练的实用性，而无需依赖标准视觉单峰监督学习中使用的昂贵的准确标签。由此产生的模型显示了强大的文本引导图像生成和传输到下游任务的能力，同时在零样本分类方面表现出色，具有值得注意的分布外鲁棒性。此后，ALIGN、BASIC、GLIDE、Flamingo 和 Imagen 等大型语言视觉模型得到了进一步的改进 ...