我们提出图像界,一种学习跨六个不同方式的关节嵌入的方法 - 图像,文本,音频,深度,热和IMU数据。我们表明,配对数据的所有组合对于训练这种联合嵌入并不是必需的,并且只有图像对数据足以将模态绑定在一起。 ImageBind可以通过使用与图像的自然配对来利用最近的大型视觉语言模型,并将其零击功能扩展到新的模式 ...
对汽车嵌入式系统必不可少的控制器区域网络(CAN)协议缺乏固有的安全功能,使其容易受到网络威胁的影响,尤其是随着自动驾驶汽车的兴起。传统的安全措施提供有限的保护,例如有效载荷加密和消息身份验证。本文提出了一种专为CAN环境设计的新型入侵检测系统(IDS),利用硬件性能计数器(HPC)来检测指示网络攻击的异常 ...
汽车技术的进步使网络安全成为至关重要的重点,导致了各种网络攻击。这些攻击主要针对控制器区域网络(CAN)和专业电子控制单元(ECU)。为了减轻这些攻击并增强车辆系统的安全性,许多HTTP URL解决方案旨在检测各种形式的车辆攻击 ...
传统的自主驾驶系统通常很难将高级推理与低水平控制联系起来,从而导致次优,有时甚至不安全。处理视觉和文本数据的多模式大语言模型(MLLM)的最新进展为统一感知和推理提供了机会。但是,有效地将精确的安全知识嵌入MLLM中以进行自主驾驶仍然是一个重大挑战 ...
端到端的自主驾驶需要对复杂和多样化的交通环境进行适应性和强大的处理。但是,普遍的单模计划方法试图学习整体政策,同时努力获得多样化的驾驶技能来处理各种情况。因此,本文提出了Geminus,这是Experts的混合物端到端的自主驾驶框架,该驾驶框架具有全球专家,场景自适应专家小组,并配备了双感知路由器 ...
用于自主驾驶(AD)的大型视觉模型(VLM)正在发展超出感知和认知任务,以实现运动计划。但是,我们在这个方向上确定了两个关键的挑战:(1)VLM倾向于通过严重依靠历史记录输入信息来学习捷径,从而实现了看似强大的计划结果,而无需真正理解视觉输入; (2)经过思考的(COT)推理过程总是与运动计划成果不一致,以及如何有效利用复杂的推理能力来增强计划的能力,这在很大程度上仍未得到充满激励。在本文中,我们从小型域特异性VLM开始,并提出了驱动-R1,旨在桥接AD的方案推理和运动计划 ...
许多机器学习算法的性能取决于其超参数设置。这项研究的目的是确定调整超参数是否重要,还是可以安全地将其设置为默认值。我们提出了一种方法,以确定基于非效率测试和调整风险的高参数调整高参数的重要性:当未调整超参数时会产生的性能损失,而是设置为默认值 ...
我们提出了一种从单个图像中推断车辆的3D姿势和形状的方法。为了解决这个问题不足的问题,我们优化了生成的3D假设及其2D伪测量之间的两尺度投影一致性。具体而言,我们使用可变形的线框模型来生成媒介物形状和姿势的精细表示 ...
自主驱动研究对运动计划者的最新进展,这些运动计划者坚固,安全和适应性。但是,现有的基于规则和数据驱动的计划者缺乏对长尾情景的适应性,而知识驱动的方法则提供了强大的推理,但在代表,控制和现实世界中的评估中面临挑战。为了应对这些挑战,我们提出了Lilodriver,这是一个终身学习框架,用于在长尾自动驾驶场景中进行闭环运动计划 ...
我们描述了一种自主驾驶的强大规划方法,该方法通过训练运动预测的扩散模型来混合正常和对抗性剂预测输出。我们首先训练一个扩散模型,以学习正常剂行为的公正分布。然后,我们通过在测试时间偏向扩散模型来产生对抗性预测的分布,以产生可能与候选计划相撞的预测 ...