多模式大语言模型(MLLM)的最新努力旨在通过将LLM和扩散模型(分别是每个任务的最新技术)结合来统一视觉理解和生成。现有方法依赖于空间视觉 Token ,其中图像贴片是根据空间顺序编码和排列的(例如 ...
通过从外部知识来源检索相关文档,检索增强的生成(RAG)增强了大语言模型(LLM)。通过引用这种外部知识,RAG有效地减少了事实不正确的内容的产生,并解决了LLM中的幻觉问题。最近,从各个角度来看,人们对提高破布系统的性能和效率的关注越来越大 ...
幻觉是大语言模型(LLM)的持续问题。随着这些模型越来越多地用于医疗保健和金融等高风险领域,有效幻觉检测的需求至关重要。为此,我们为零资源幻觉检测提出了一个多功能框架,从业人员可以应用于现实世界中的用例 ...
将结构化知识从知识图(KGS)整合到大语言模型(LLMS)中仍然是符号推理的关键挑战。现有方法主要依赖于迅速的工程或微调,而这些方法失去了结构性保真或产生高计算成本。在最新的编码技术的基础上,将图形嵌入在LLM输入中为 Token ,我们通过利用知识图嵌入(KGE)模型将此范式扩展到KG域,从而启用图形感知推理 ...
深度离线增强学习(RL)的最新进展使得从离线数据集训练强大的机器人代理成为可能。但是,根据受过训练的代理的质量和所考虑的应用程序,通常希望通过进一步的在线互动微调这样的代理。在本文中,我们观察到,在微调过程中,州行动分配变化可能会导致严重的自举误差,这破坏了通过离线RL获得的良好初始政策 ...
近年来,大型语言模型(LLM)彻底改变了自然语言处理领域。但是,他们经常遭受知识差距和幻觉的困扰。图检索 - 调格生成(GraphRag)通过从外部图中整合结构化知识来增强LLM推理 ...
大型语言模型(LLMS)在各种任务中都表现出了出色的功能。通常,LLM首先是在大型语料库中进行预培训,然后在特定于任务的数据集上进行了微调。但是,在微调期间,LLM可能会忘记在训练阶段获得的一些知识,从而导致一般能力下降 ...
利用大型语言模型LLM的快速发展,基于LLM的代理已被开发用于处理各种现实世界的应用,包括金融、医疗保健和购物等。确保基于LLM的代理的可靠性和安全性至关重要。应用程序。然而,基于法学硕士的代理人的安全问题目前尚未得到充分探讨 ...