图形用户界面(GUI)代理已经成为人类计算机交互中的变革范式,从基于规则的自动化脚本到能够理解和执行复杂接口操作的复杂的AI驱动系统。这项调查提供了对基于LLM的GUI代理快速前进的领域的全面检查,系统地分析了其建筑基础,技术组成部分和评估方法。我们识别并分析了构成现代GUI代理的四个基本组件:(1)将基于文本的解析与多模式理解相结合的感知系统,以实现全面的界面理解; (2)通过内部建模,历史经验 ...
Drive-R1: Bridging Reasoning and Planning in VLMs for Autonomous Driving with Reinforcement Learning
用于自主驾驶(AD)的大型视觉模型(VLM)正在发展超出感知和认知任务,以实现运动计划。但是,我们在这个方向上确定了两个关键的挑战:(1)VLM倾向于通过严重依靠历史记录输入信息来学习捷径,从而实现了看似强大的计划结果,而无需真正理解视觉输入; (2)经过思考的(COT)推理过程总是与运动计划成果不一致,以及如何有效利用复杂的推理能力来增强计划的能力,这在很大程度上仍未得到充满激励。在本文中,我们 ...
准确的作用推断对于基于视觉的机器人操作至关重要。现有的方法通常遵循视觉行动(V-A)范式,直接从视觉输入中预测动作,或者愿景到3D-TO-TO-TO-TO-ECTION(V-3D-A)范式,利用中间3D表示。但是,由于操纵场景的复杂性和动态性质,这些方法通常在行动不准确的情况下困难 ...
在单标签分类的背景下,尽管深度学习取得了巨大的成功,但常用的跨透明损失函数忽略了经常存在于现实生活任务(例如年龄分类)中的复杂的阶层间关系。在这项工作中,我们建议通过用精确的平方地球移动器的距离(也称为Wasserstein距离)来利用类之间的这些关系,以进行单标签分类。平方EMD损失使用所有类别的预测概率,并根据地面距离矩阵量化了量化阶级之间差异的地面距离矩阵 ...
图像自适应查找表(LUTS)由于对颜色变换进行建模的高效率,在实时图像增强任务中取得了巨大的成功。但是,他们以耦合方式将完整的变换嵌入了仅颜色组件独立于颜色的部分和与组件相关的部分,仅以1D或3D的形式嵌入到单一类型的LUT中。由于两个因素,该方案提高了改善模型表现力或效率的困境 ...
来自单眼视频的人类网格重建(HMR)在人类机器人的互动与协作中起着重要作用。但是,现有的基于视频的人网状重建方法在准确的重建和平稳运动之间面临着权衡。这些方法基于RNN或注意机制设计网络,以提取本地时间相关性或全球时间依赖性,但是缺乏互补的长期信息和本地细节会限制其性能 ...
已经提出了许多关键点检测和描述方法用于图像匹配或注册。尽管这些方法证明了单模性图像匹配的有希望的性能,但它们通常在多模式数据上挣扎,因为对单模式数据训练的描述符往往缺乏针对多模式数据中存在的非线性变化的鲁棒性。将这种方法扩展到多模式图像匹配通常需要良好的多模式数据来学习模态不变的描述符 ...
用嘈杂的标签进行深度学习是弱监督学习的一个有趣挑战。尽管具有很高的学习能力,但CNN仍具有在带有嘈杂标签的样品的情况下过度合适的趋势。减轻此问题,众所周知的共同培训框架被用作我们工作的基本基础 ...