在自动驾驶和监控等多种应用中,理解和预测人类运动变得更加重要和具有挑战性。主体之间不同关系带来的复杂交互是对该任务提出挑战的一个重要原因。研究人员投入了大量精力来设计一个系统,使用基于规则或基于数据的模型来提取和验证行人轨迹与这些交互之间的模式,但这一问题尚未得到充分解决 ...
车辆轨迹预测对于推进自动驾驶和高级驾驶员辅助系统 (ADAS)、提高道路安全和交通效率至关重要。虽然传统方法已经奠定了基础工作,但现代深度学习技术,特别是基于 Transformer 的模型和生成方法,通过捕获车辆运动和交通交互中的复杂和非线性模式,显着提高了预测精度。然而,这些模型往往忽略了现实世界驾驶场景中必不可少的详细跟车行为和车辆间交互 ...
结肠镜图像的可靠自动分类对于评估结肠病变的阶段和制定适当的治疗计划具有重要意义。然而,由于亮度不均匀、位置可变性、类间相似性和类内相异性,影响分类精度,因此具有挑战性。为了解决上述问题,我们在本研究中提出了一种基于傅里叶的频率复杂网络(FFCNet)用于结肠疾病分类 ...
端到端自动驾驶范式最近因其可扩展性而引起了广泛关注。然而,现有方法受到现实世界数据规模有限的限制,这阻碍了对与端到端自动驾驶相关的尺度规律的全面探索。为了解决这个问题,我们从各种驾驶场景和行为中收集了大量数据,并对现有基于模仿学习的端到端自动驾驶范式的缩放规律进行了广泛的研究 ...
大型视觉-语言-动作(VLA)模型的进步在语言引导的任务执行和对未见过的场景的泛化方面显着改善了机器人操作。虽然现有的改编自预训练大型视觉语言模型(VLM)的 VLA 已表现出良好的通用性,但它们的任务性能仍然不能令人满意,不同环境中的任务成功率较低。在本文中,我们提出了一种源自 VLM 的新的高级 VLA 架构 ...
现代神经网络模型的规模不断扩大,可以从视觉观察中有效地学习端到端控制。这些先进的深度模型,从卷积网络到基于补丁的网络,已经在离线图像分类和回归任务上进行了广泛的测试。在本文中,我们研究了这些视觉架构的开环到闭环因果关系差距,即 ...
真实的交通模拟对于在实际部署之前以安全且可扩展的方式开发自动驾驶软件至关重要。通常,模仿学习 (IL) 用于直接从离线收集的现实世界观察中学习类人交通代理,但如果没有明确的交通规则规范,仅通过 IL 训练的代理经常会表现出不切实际的违规行为,例如碰撞和驶离道路。在分布外和长尾场景中,这个问题会更加严重 ...
自动驾驶涉及数据融合、物体和车道检测、行为预测和路径规划等复杂任务。与专门使用单独的子系统来处理每个任务的模块化方法相反,端到端方法使用深度神经网络将问题视为单个可学习的任务,从而降低了系统复杂性并最大限度地减少对启发式的依赖。条件模仿学习(CIL)训练端到端模型来模仿人类专家,考虑引导车辆到达目的地的导航命令,CIL采用专门的网络分支来学习每个导航命令的驾驶任务 ...
本文介绍了仲裁图框架的扩展,旨在增强复杂动态环境中自治系统的安全性和鲁棒性。基于仲裁图的灵活性和可扩展性,所提出的方法在决策过程中结合了验证步骤和结构化回退层。这可确保仅执行经过验证的安全命令,同时在出现意外故障或错误时实现平稳降级 ...
由于注释和维护成本高昂,自动驾驶系统的最新进展已转向减少对高清地图 (HDMap) 的依赖。相反,研究人员正专注于使用机载传感器构建在线矢量化高清地图。然而,由于车载摄像头的安装角度所带来的视野限制,仅使用传感器的方法在远距离感知方面仍然面临挑战,就像人类驾驶员也依靠鸟瞰导航地图来全面了解道路结构一样 ...