在这项工作中，我们专注于弱监督的负担基础的任务，在该任务中，使用人类对象相互作用图像和不具有致密标签的人类对象相互作用图像和以自我为中心的对象图像来识别对象的负担区域。以前的作品主要建立在类激活图的基础上，该图对于语义分割有效，但可能不适合定位动作和功能。利用最近的高级基础模型，我们开发了基于伪标签的监督培训管道 ...
在视频中定位人类对象的相互作用（HOI）动作是多个下游任务的基础，例如人类行为分析和人类机器人技能转移。当前的时间动作定位方法通常依赖于注释的动作和对象类别进行优化，从而导致域偏差和低部署效率。尽管最近的一些作品已经实现了具有大视觉模型（VLM）的零拍动时间动作定位（ZS-TAL），但它们的粗粒估计和开环管道阻碍了时间交互定位（TIL）的进一步性能改善 ...
需要视频逼真的样式传输，以生成具有与样式图像相似的影像样式的视频，同时保持时间一致性。但是，现有方法通过执行逐帧的影像风格转移来获得程式化的视频序列，这效率低下，无法确保风格化视频的时间一致性。为了解决这个问题，我们使用基于神经网络的3D查找表（LUTS）进行视频的影片转移，从而在效率和有效性之间取得了平衡 ...
近年来，人类对象相互作用（HOI）检测取得了重大进展。但是，现有的作品集中在具有理想图像和自然分布的标准设置上，远非不可避免的分配变化的实际情况。这阻碍了HOI检测的实际适用性 ...
矢量化高清（HD）地图对于自动驾驶系统至关重要。最近，最新的地图矢量化方法主要基于类似DITR的框架，以端到端的方式生成HD地图。在本文中，我们提出了相互作用图，该互动示例通过在时间和空间中充分利用局部到全球信息的交互来改善先前的MAP矢量化方法 ...
混响在音乐制作中起着至关重要的作用，在音乐制作中，它为听众提供了音乐的空间认识，音色和音乐的质感。然而，即使是熟练的工程师，重现参考音乐曲目的音乐混响也是一个挑战。作为回应，我们提出了一个端到端系统，能够切换两个不同混合声带的音乐混响系数 ...
涉及机器人臂的现实世界操纵数据对于制定通才行动政策至关重要，但是由于现有数据收集方法受到高成本，硬件依赖性和复杂的设置要求的阻碍，因此此类数据仍然很少。在这项工作中，我们介绍了Fastumi，这是通用操纵界面（UMI）系统的实质性重新设计，该系统通过启用快速部署，简化硬件软件集成并在现实世界数据采集中提供了良好的性能来解决这些挑战。与UMI相比，Fastumi具有多个优点：1）它采用了脱钩的硬件设计，并结合了广泛的机械修改，消除了对专门的机器人组件的依赖性，同时保留了一致的观察角度 ...
确保一致性是指使模型按照人类意图行事[1,2]，在将大型语言模型（LLM）（LLMS）在现实世界应用中部署之前已成为一项关键任务。例如，Openai在发布之前将六个月用于迭代对准GPT-4 [3]。但是，从业人员面临的主要挑战是缺乏评估LLM输出是否与社会规范，价值观和法规保持一致的明确指南 ...
图形用户界面（GUI）代理已经成为人类计算机交互中的变革范式，从基于规则的自动化脚本到能够理解和执行复杂接口操作的复杂的AI驱动系统。这项调查提供了对基于LLM的GUI代理快速前进的领域的全面检查，系统地分析了其建筑基础，技术组成部分和评估方法。我们识别并分析了构成现代GUI代理的四个基本组件：（1）将基于文本的解析与多模式理解相结合的感知系统，以实现全面的界面理解； （2）通过内部建模，历史经验和外部信息检索来构建和维护知识库的探索机制； （3）计划将高级推理方法用于任务分解和执行的框架； （4）通过强大的安全控制来管理动作产生的交互系统 ...
用于自主驾驶（AD）的大型视觉模型（VLM）正在发展超出感知和认知任务，以实现运动计划。但是，我们在这个方向上确定了两个关键的挑战：（1）VLM倾向于通过严重依靠历史记录输入信息来学习捷径，从而实现了看似强大的计划结果，而无需真正理解视觉输入； （2）经过思考的（COT）推理过程总是与运动计划成果不一致，以及如何有效利用复杂的推理能力来增强计划的能力，这在很大程度上仍未得到充满激励。在本文中，我们从小型域特异性VLM开始，并提出了驱动-R1，旨在桥接AD的方案推理和运动计划 ...