多模态大型语言模型 (MLLM) 的开发取得了重大进展。然而,多模式教学数据的数量和质量已成为其进展的重大瓶颈。手动创建多模态指令数据既耗时又低效,给生成高复杂性指令带来了挑战 ...
Exploring 3D Activity Reasoning and Planning: From Implicit Human Intentions to Route-Aware Planning
由于最近在多模式学习方面的进步,3D活动推理和计划引起了人类机器人互动的越来越多的关注,并体现了AI。但是,大多数现有作品都有两个限制:1)严重依赖明确说明,而对隐式用户意图几乎没有理由; 2)机器人移动上的步进路线计划的疏忽。为了弥合差距,我们提出了3D活动推理和计划,这是一项新颖的3D任务,该任务是从隐式指令中预定的活动,并将它们分解为步骤间路线的步骤,并在良好的3D对象形状和场景细分的位置的 ...
图形嵌入对于图形挖掘任务至关重要。随着现实世界应用中图数据的普遍性,近年来已经提出了许多方法来学习嵌入向量各种图形的高质量图。但是,大多数现有方法通常从原始图中随机选择负样本,以增强训练数据而不考虑噪声 ...
大型语言模型(LLMS)在使语言代理能够处理简单任务方面显示出了显着的进步。但是,将它们应用于复杂的多步,长马的任务仍然是一个挑战。最近的工作通过将高级计划与低级执行分开,这使得模型能够有效地平衡高级计划目标和低级执行细节 ...
图神经网络(GNN)容易受到对抗性扰动的影响,包括影响节点特征和图形拓扑的扰动。本文研究了源自不同神经流的GNN,集中于它们与各种稳定概念的联系,例如Bibo稳定性,Lyapunov稳定性,结构稳定性和保守稳定性。我们认为,尽管Lyapunov的稳定性很普遍,但并不一定能确保对抗性的鲁棒性 ...
大型语言模型 (LLM) 通过对大量数据集进行预训练来编码广泛的世界知识,然后可以针对问答 (QA) 任务进行微调。然而,针对质量保证任务微调 LLM 的有效策略在很大程度上仍未得到探索。为了解决这一差距,我们根据预训练的 LLM 记忆的知识范围对监督微调(SFT)数据进行分类,并进行了一系列实证分析 ...
ASVSPOOF挑战系列是针对自动扬声器验证(ASV)的抗螺旋形的矛头研究。 2015年和2017年的两个挑战版本涉及使用同样的错误率(EER)度量来隔离ASV的欺骗对策(CMS)。尽管当时是一种战略评估方法,但它存在某些缺点 ...
大型语言模型(LLM)容易幻觉,例如,在其回答中,实际上是错误的信息 ...