多跳问题回答(QA)需要模型来检索和推理多个证据。虽然检索增强的生成(RAG)在该领域取得了进展,但现有方法通常受到两个关键局限性:(1)固定或过度频繁的检索步骤,以及(2)无效使用先前检索的知识。我们提出了思维(内存信息和交互式动态抹布),该框架通过以下框架来解决这些挑战:(i)基于及时的实体提取以识别与推理相关的元素,(ii)基于 Token 级熵和注意力信号的动态检索触发触发,以及(iii) ...
图形神经网络(GNN)中的自我发挥机制导致许多图表表示任务上的最新性能。当前,在每一层中,都在连接的节点对之间计算注意力,并且仅取决于两个节点的表示。但是,这种注意机制并不是没有直接连接而是提供重要网络环境的节点 ...
尽管神经机器翻译(NMT)在过去两年中取得了良好的进步,但培训需要数千万的双语句子对。但是,人类的标签非常昂贵。为了解决此培训数据瓶颈,我们开发了一种双学习机制,该机制可以使NMT系统能够通过双学习游戏自动从未标记的数据中学习 ...
生成AI的快速崛起改变了音乐的创作,数百万用户参与了AI生成的音乐。尽管它很受欢迎,但对侵犯版权,工作流离失所和道德意义的担忧导致了越来越多的审查和法律挑战。同时,AI检测服务已经出现,但是这些系统在很大程度上仍然不透明和私人控制,这反映了他们旨在解决的问题 ...
随着大型语言模型(LLMS)变得更加先进,很难区分人文和AI生成的文本。本文在量子不确定性和自然语言中的作者身份检测的限制之间提出了概念相似之处。我们认为存在一个基本的权衡:越自信地试图确定文本是由人类还是人工智能撰写的,越有可能破坏文本的自然流动和真实性 ...
生成模型的兴起引发了人们对在线图像真实性的担忧,凸显了对有效且通用的检测器的迫切需求。最近利用冷冻预训练 CLIP-ViT 模型的方法在深度伪造检测方面取得了巨大进展。然而,这些模型通常依赖于冻结网络直接提取的视觉通用特征,其中包含过多与任务无关的信息,导致检测性能有限 ...
顺序推荐系统根据用户过去的交互来预测下一个交互项,使推荐与个人偏好保持一致。利用大型语言模型(LLM)在知识理解和推理方面的优势,最近的方法渴望将 LLM 应用于顺序推荐。常见的范例是将用户行为序列转换为指令数据,并使用参数高效微调 (PEFT) 方法(如低秩适应 (LoRA))对 LLM 进行微调 ...
校准建议的想法是,建议向用户建议的项目的属性应匹配其过去偏好的分布。因此,校准技术有助于确保提供给用户的建议不限于用户兴趣的某些子集。在过去的几年中,我们观察到越来越多的研究作品用于不同目的的校准,包括多样性,偏见和公平问题 ...