轨迹预测对于自动驾驶车辆规划的安全性和效率至关重要。然而,当前的模型通常无法完全捕捉复杂的交通规则和潜在车辆运动的完整范围。为了解决这些局限性,本研究引入了三种新颖的损失函数:越野损失、方向一致性误差和多样性损失 ...
我们在端到端规划框架内解决决策能力问题,重点关注运动预测、决策和轨迹规划。具体来说,我们将决策和轨迹规划制定为可微的非线性优化问题,这确保了与基于学习的模块的兼容性,以建立端到端的可训练架构。这种优化引入了与安全、行驶效率和乘坐舒适性相关的明确目标,指导我们提出的管道中的学习过程 ...
对周围环境语义的空间理解是自动驾驶汽车实现安全驾驶决策所需的关键能力。最近,纯粹基于视觉的解决方案引起了越来越多的研究兴趣。特别是,从多个摄像头提取鸟瞰图 (BEV) 的方法在空间理解方面表现出了出色的性能 ...
安全的自动驾驶和先进的驾驶员辅助系统需要在所有道路条件下进行稳健的道路分段。有监督的深度学习方法在其训练数据领域提供准确的道路分割,但在分布外的场景中不能被信任。将整个分布包含在训练集中具有挑战性,因为每个样本都必须手动标记 ...
在自动驾驶和监控等多种应用中,理解和预测人类运动变得更加重要和具有挑战性。主体之间不同关系带来的复杂交互是对该任务提出挑战的一个重要原因。研究人员投入了大量精力来设计一个系统,使用基于规则或基于数据的模型来提取和验证行人轨迹与这些交互之间的模式,但这一问题尚未得到充分解决 ...
车辆轨迹预测对于推进自动驾驶和高级驾驶员辅助系统 (ADAS)、提高道路安全和交通效率至关重要。虽然传统方法已经奠定了基础工作,但现代深度学习技术,特别是基于 Transformer 的模型和生成方法,通过捕获车辆运动和交通交互中的复杂和非线性模式,显着提高了预测精度。然而,这些模型往往忽略了现实世界驾驶场景中必不可少的详细跟车行为和车辆间交互 ...
结肠镜图像的可靠自动分类对于评估结肠病变的阶段和制定适当的治疗计划具有重要意义。然而,由于亮度不均匀、位置可变性、类间相似性和类内相异性,影响分类精度,因此具有挑战性。为了解决上述问题,我们在本研究中提出了一种基于傅里叶的频率复杂网络(FFCNet)用于结肠疾病分类 ...
端到端自动驾驶范式最近因其可扩展性而引起了广泛关注。然而,现有方法受到现实世界数据规模有限的限制,这阻碍了对与端到端自动驾驶相关的尺度规律的全面探索。为了解决这个问题,我们从各种驾驶场景和行为中收集了大量数据,并对现有基于模仿学习的端到端自动驾驶范式的缩放规律进行了广泛的研究 ...
大型视觉-语言-动作(VLA)模型的进步在语言引导的任务执行和对未见过的场景的泛化方面显着改善了机器人操作。虽然现有的改编自预训练大型视觉语言模型(VLM)的 VLA 已表现出良好的通用性,但它们的任务性能仍然不能令人满意,不同环境中的任务成功率较低。在本文中,我们提出了一种源自 VLM 的新的高级 VLA 架构 ...
现代神经网络模型的规模不断扩大,可以从视觉观察中有效地学习端到端控制。这些先进的深度模型,从卷积网络到基于补丁的网络,已经在离线图像分类和回归任务上进行了广泛的测试。在本文中,我们研究了这些视觉架构的开环到闭环因果关系差距,即 ...