检索增强生成(RAG)已成为为大型语言模型(LLM)配备外部知识的基础范例,在信息检索和知识密集型应用中发挥着关键作用。然而,传统的 RAG 系统通常采用静态检索然后生成管道,并依赖于上下文知识注入,这对于需要多跳推理、自适应信息访问和外部知识更深入集成的复杂任务来说可能不是最佳选择。受这些限制的推动,研究界已经超越了静态检索和上下文知识注入 ...
广义知识图(GKG)的构建,包括知识图,事件知识图和常识知识图,对于各种自然语言处理任务至关重要。当前的研究通常分别构建这些类型的图形,忽略了整体见解和潜在统一,这可能对计算资源和使用观点有益。但是,开发GKG统一框架的主要挑战是特定于任务的差异引起的障碍 ...
大语言模型(LLM)中的多模式推理与不完整的知识和幻觉伪像斗争,挑战文本知识图(kgs)仅由于其模态隔离而部分缓解。尽管多模式知识图(MMKGS)有望增强跨模式的理解,但它们的实际结构受到了手动文本注释和视觉声音实体链接中固有噪声的语义狭窄的影响。在本文中,我们提出了视觉对语言对语言的综合知识图(Valik),这是一种构建MMKGS的新方法,可通过补充跨模式信息来增强LLMS推理 ...
医学文献的迅速扩展提出了越来越多的挑战,可以大规模构建和整合领域知识。知识图(KGS)通过实现有效的检索,自动推理和知识发现提供了有希望的解决方案。但是,当前的KG施工方法通常依靠有限的可推广性或来自大型语言模型(LLM)的综合产量的监督管道,将生物医学语料库视为静态的,而忽略了不断发展的知识的时间动态和上下文不确定性 ...
图形学习的最新进展为利用图形数据中固有的关系结构的创新检索生成(RAG)系统铺平了道路。但是,许多现有的方法都遭受了严格的,固定的设置和大量的工程开销,从而限制了它们的适应性和可扩展性。此外,RAG社区在很大程度上忽略了图数据库社区中有关大规模图上有趣的子结构的有效检索的数十年研究 ...
在知识编辑(KE)下,多跳的问题回答(MQA)在大型语言模型时代引起了极大的关注。但是,在处理包含明确时间上下文的问题时,MQA的现有模型表现出较差的性能。为了解决这一局限性,我们提出了一个新颖的框架,即时间知识增强多跳问题回答(Temple-MQA) ...
大型语言模型(LLMS)的最新进展已在简单的文本分类任务上表现出很强的性能,通常在零击设置下。但是,在应对复杂的社交媒体挑战(例如宣传检测,可恨模因分类和毒性识别)等复杂的社交媒体挑战时,它们的功效会下降。现有的许多工作都集中在使用LLMS生成合成训练数据,从而忽视了基于LLM的文本预处理和语义增强的潜力 ...
当前的LLM通常会遵循安全要求,并倾向于拒绝有毒的提示。但是,LLM可能无法拒绝有毒的提示,也可能过分拒绝良性的例子。此外,最先进的毒性探测器在低FPR下的TPR较低,在很少有毒性实例的实际应用中产生高成本 ...
通过解决幻觉,过时的知识和域适应性等问题,检索增强的生成(RAG)技术已成为提高大语言模型(LLM)可靠性的有前途解决方案。特别是,现有的抹布方法附加了从外部语料库或数据库中检索到LLMS的输入的相关文档,以指导其生成过程,我们将其称为“文化知识注入方法”。尽管这种方法很简单并且通常有效,但它具有固有的局限性 ...
大型语言模型 (LLM),包括 GPT-3.5、LLaMA 和 PaLM,似乎知识渊博并且能够适应许多任务。然而,我们仍然不能完全相信他们的答案,因为 LLM 患有 \textbf{幻觉}\textemdash 捏造不存在的事实,在有意识或无意识的情况下欺骗用户 ...