流量匹配（FM）是最新的生成建模框架，它已经在各个领域（包括图像，视频，音频，语音和生物结构）实现了最先进的性能。本指南提供了对FM的全面且独立的评论，涵盖了其数学基础，设计选择和扩展。还提供了一个具有相关示例的Pytorch包（e ...

对话式AI代理的现有基准模拟了单控环境，在这种环境中，只有AI代理才能使用工具与世界交互，而用户仍然是被动信息提供商。这不同于现实世界中的方案，例如技术支持，在该场景中，用户需要积极参与修改（共享）世界的状态。为了解决这一差距，我们介绍了$ \ tau^2 $  - 台阶，具有四个关键贡献：1）一种新型电信双控制域，以DEC-POMDP为模型，代理和用户都使用工具在共享的，动态的环境中采取行动，可 ...

训练前的训练技术可显着提高语义分割任务的性能，而训练数据有限。但是，在预训练之间的较大域间隙下的功效（例如 ...

最近的大规模视力语言动作（VLA）模型在自然语言指导的机器人操纵任务中表现出了出色的表现。但是，当应用于训练分布以外的新物体或陌生环境时，它们的概括仍然有限。为了解决这个问题，许多现有方法都集成了其他组件，例如深度估计，细分甚至扩散以改善概括，以增加大量计算开销的成本，从而导致低效率 ...

视力语言动作（VLA）模型的最新进展在将图像产生与动作预测相结合以改善机器人操纵中的概括和推理方面表现出了希望。但是，现有的方法仅限于基于图像的预测，这些预测遭受了冗余信息，并且缺乏全面和批判性的世界知识，包括动态，空间和语义信息。为了解决这些局限性，我们提出了DreamVla，这是一个新颖的VLA框架，该框架整合了全面的世界知识预测以实现反向动态建模，从而建立了对操纵任务的感知预测行动循环 .. ...

随着大型模型获得吸引力，视觉语言动作（VLA）系统使机器人能够应对日益复杂的任务。但是，受数据收集难度的限制，进步主要集中在控制简单的抓地力终端效果上。关于功能性抓握的研究很少，大型模型用于人类的灵巧手 ...

Vision语言动作（VLA）型号为解决复杂的机器人操纵任务提供了一个令人信服的框架，但训练通常很昂贵。在本文中，我们提出了一种新颖的VLA方法，该方法利用2D图像上视觉语言模型（VLM）的竞争性能直接推断机器人最终效应器在图像框架坐标中提出。与先前的VLA模型输出低水平控件不同，我们的模型可以预测轨迹航路点，从而使训练和机器人实施例均更有效 ...

大型语言模型（LLM）在编码领域的应用正在迅速发展：从代码助手到自主编码代理，然后再通过自然语言生成完整的项目。早期LLM代码基准主要集中在代码生成准确性上，但是这些基准逐渐变得饱和。基准饱和度削弱了其在LLM的指导作用 ...