自诞生以来，编程语言一直朝着提高客户吸引力和降低障碍的方向发展。遵循这一趋势，自然语言有可能成为一种有前途的编程语言，它提供了极大的灵活性和可用性，并有助于实现编程的民主化。然而，自然语言固有的模糊性、歧义性和冗长性给开发能够准确理解编程逻辑并执行用自然语言编写的指令的解释器带来了巨大的挑战... ...
大型语言模型 (LLM) 中最先进的顺序推理将 Copilot 的功能从会话任务扩展到复杂的函数调用，管理数千个 API 调用。然而，组合提示倾向于将任务分割为多个步骤，每个步骤都需要往返 GPT API，从而导致系统延迟和成本增加。尽管并行函数调用的最新进展改进了每个 API 调用的工具执行速度，但它们可能需要更详细的上下文指令和提示级别的任务分解，从而导致更高的工程和生产成本 ...
条件人体运动生成是一个重要主题，在虚拟现实、游戏和机器人领域有许多应用。虽然之前的工作主要集中在生成由文本、音乐或场景引导的运动，但这些通常会导致仅限于较短持续时间的孤立运动。相反，我们致力于在一系列不同的文本描述的指导下生成长的、连续的序列 ...
智能代理需要在上下文环境中自主导航和交互，以根据人类指令执行各种日常任务。这些代理需要对世界有基本的了解，结合常识和知识来解释这些指令。此外，他们必须具备精确的低级运动和交互技能，以执行从这些指令导出的详细任务计划 ...
体力活动对健康有显着益处，但仍有很大一部分人缺乏体力活动。移动健康应用程序在低成本、可扩展的身体活动促进方面显示出巨大的潜力，但现有的方法往往不足以针对用户的背景和生活环境进行个性化。在这项工作中，我们探索基于大型语言模型（LLM）的对话代理激发身体活动行为改变的潜力 ...
聊天机器人在促进自我反思方面的作用现已得到广泛认可，特别是在诱导用户行为改变方面。虽然 24/7 可用性、可扩展性和一致响应的好处已经在医疗保健和辅导等环境中得到证明，可以帮助人们形成一种新习惯，但它们在辅导中的运用仍然需要更深入的内省对话来促进领导力的成长，这一点尚未得到探索。本文探讨了这种由最近的大型语言模型（LLM）与高管教练领域的专业教练合作支持的聊天机器人的潜力 ...
人类拥有在积极探索 3D 世界并与之互动的同时增加多种多感官线索的能力。然而，当前的多模态大语言模型被动地吸收感官数据作为输入，缺乏与3D环境中的物体主动交互并动态收集其多感官信息的能力。为了引领这一领域的研究，我们提出了MultiPLY，一种多感官体现的大语言模型，可以将包括视觉、音频、触觉和热信息在内的多感官交互数据纳入大语言模型中，从而建立单词、动作、语言之间的相关性。和感知 ...
人工智能的最新进展是由日益现实和复杂的模拟环境的存在推动的。然而，许多现有环境要么提供不现实的视觉效果、不准确的物理效果、任务复杂性低、代理视角受限，要么人工代理之间的交互能力有限。此外，许多平台缺乏灵活配置模拟的能力，使得模拟环境从学习系统的角度来看是一个黑匣子 ...
多物理现象，即涉及物理定律不同方面的耦合效应，在现实世界中普遍存在，并且在执行日常家务时经常会遇到。寻求协助或取代人类劳动者的智能体需要学会应对家务任务环境中的此类现象。为了使智能体具备这种能力，研究界需要一个模拟环境，该环境能够作为这些智能体训练过程的测试平台，并能够支持多物理场耦合效应 ...
我们推出了 iGibson 1.0，这是一种新颖的模拟环境，用于为大规模现实场景中的交互式任务开发机器人解决方案。我们的环境包含 15 个完全交互式的家庭大小的场景，其中 108 个房间充满了刚性和铰接式物体 ...