神经网络在机器学习,认知/脑科学和社会通过电路发现的可行性的可行性中的许多提议应用。这要求可行算法选项的经验和理论探索。尽管在启发式方法的设计和测试方面取得了进步,但在我们缺乏对他们要解决的问题的复杂性特性的理解时,人们对它们的可扩展性和忠诚有一些担忧 ...
MapNav: A Novel Memory Representation via Annotated Semantic Maps for Vision-and-Language Navigation
视觉和语言导航(VLN)是体现AI的关键任务,要求代理在遵循自然语言说明的同时导航多样化和看不见的环境。传统方法在很大程度上依赖于历史观察作为决策的时空环境,从而导致大量的存储和计算开销。在本文中,我们介绍了MapNav,这是一种新颖的端到端VLN模型,该模型利用注释的语义图(ASM)代替历史框架 ...
近年来,机器人的操纵取得了巨大的进步,模仿学习政策可以成功地执行灵巧和难以模仿的任务。同时,扩展数据和模型大小导致了能力强大的语言和视觉基础模型的发展,激发了大规模创建通用机器人基础模型的大规模努力。尽管这些模型获得了巨大的热情和投资,但对现实世界绩效的有意义评估仍然是一个挑战,限制了发展的步伐并抑制了对当前能力的细微理解 ...
变形金刚以长序列面临二次复杂性和内存问题,促使使用固定尺寸的隐藏状态促使线性注意机制采用。但是,线性模型通常会遭受召回性能有限,从而导致混合体系结构结合了线性和全部注意力层。尽管进行了广泛的混合体系结构研究,但尚未深入探索线性注意组件的选择 ...
联合学习(FL)是一种新颖的方法,可以通过利用在分散设备上培训的模型来保留数据隐私的同时进行协作的机器学习。但是,由于跨客户的不均匀分布(非IID)数据,FL面临着挑战,这会影响模型性能及其泛化功能。为了解决非IID问题,最近的努力利用了全球模型作为当地模型的教学机制 ...
由大语言模型(LLM)提供动力的多机构系统(MAS)正在成为解决复杂,多方面问题的强大范式。但是,这些系统的潜力通常受到普遍的计划和执行框架的限制,该框架受到关键限制:严格的计划执行,静态代理能力和效率低下的通信。这些弱点阻碍了它们在动态环境中的适应性和鲁棒性 ...
大型语言模型(LLM)已成为一种变革性的AI范式,通过其特殊的语言理解和上下文生成能力深远影响日常生活。尽管其表现出色,但LLM面临着一个关键的挑战:由于其基于学习的本质的固有局限性,产生不可靠的产出的倾向。另一方面,形式方法(FMS)是一个完善的计算范式,可提供数学上严格的技术来建模,指定和验证系统的正确性 ...
基于LOGIT的LLM水印轨迹并通过保持绿色和红色 Token 列表并增加一代中绿色 Token 的可能性来验证AI生成的内容。但是,它在低渗透方案中失败了,可以预测的输出使绿色 Token 选择变得困难而不会破坏自然文本流动。现有方法通过假设访问原始LLM来计算熵并有选择地水印高凝聚 Token 来解决这一问题 ...