大型语言模型已经在各种任务中表现出了非凡的功能,但是它们的微调需要大量的记忆,对资源受限的环境构成了挑战。零订单(ZO)优化通过消除反向传播的需求提供了一种记忆效率的替代方案。但是,ZO优化遭受了较高的梯度差异,并且先前的研究主要集中在单任务学习上,因此未探索了其在多任务学习中的应用 ...
这项工作介绍了事先深度,该框架将不完整但精确的度量信息深入测量与相对但完整的几何结构进行了深入预测,从而为任何场景生成了准确,密集和详细的度量深度图。为此,我们设计了一条粗到精细的管道,以逐步整合两个互补的深度源。首先,我们通过使用深度预测明确地介绍了像素级度量对准和距离感知权重,以明确地进行预填充多样的度量先验 ...
大语言模型的培训对于调整预训练的语言模型(PLM)至关重要,以与人类的偏好和下游任务保持一致。虽然PLM通常表现出良好的信心,但训练后的语言模型(POLMS)通常会过分自信,为正确和不正确的产出带来了高度的信心,这可能会破坏关键应用中的可靠性。校准波尔姆斯的主要障碍是缺乏在各个下游任务的标记数据 ...
计算机视觉中对象表示的研究主要集中于开发对图像分类,对象检测或语义分割作为下游任务的表示形式。在这项工作中,我们旨在学习对控制和加强学习有用的对象表示(RL)。为此,我们介绍了Transporter,Transporter是一种神经网络体系结构,用于以关键点或图像空间坐标来发现简洁的几何对象表示 ...
人类通过柔性工具在复杂的长马软体操纵任务中表现出色:面包烘烤需要刀切成面团和滚动销来将其弄平。由于理解工具对象相互作用的挑战,自主机器人中的工具使用通常被视为人类认知的标志,但在自动驾驶机器人中使用的工具仍然有限。在这里,我们开发了一个智能的机器人系统Robocook,它可以使用各种工具来感知,模型和操纵弹性塑料对象 ...
Tra-MoE: Learning Trajectory Prediction Model from Multiple Domains for Adaptive Policy Conditioning
从多个领域学习是影响单个统一机器人系统概括的主要因素。在本文中,我们旨在通过使用广泛的室外数据来提高其性能和泛化能力来学习轨迹预测模型。轨迹模型旨在预测当前框架中给定指令中的任何点轨迹,并可以为机器人政策学习提供详细的控制指南 ...
随着视觉模型(VLM)的快速发展,基于GUI的移动代理已成为智能移动系统的关键开发方向。但是,现有的代理模型继续在现实世界任务执行中面临重大挑战,尤其是在准确性和效率方面。为了解决这些局限性,我们提出了Mobiagent,这是一个综合的移动代理系统,其中包括三个核心组件:Mobimind系列代理模型,AgentRR加速框架和Mobiflow基准测试套件 ...
我们研究了一种体验式学习范式,用于获取内部直观物理模型。我们的模型对现实世界的机器人操纵任务进行了评估,该任务需要通过戳戳将对象置换为目标位置。该机器人通过在不同对象上执行超过100k的戳,收集了超过400个小时的经验 ...