随着知识图的兴起，基于图形的检索生成（RAG）技术（例如GraphRag和Pike-rag），知识图在增强大语言模型（LLMS）的推理能力中的作用变得越来越重要。但是，传统知识图构造（KGC）方法面临挑战，例如复杂的实体歧义，严格的模式定义和跨文档知识集成不足。本文着重于自动文档级知识图构建的任务 ...
尽管检索型发电（RAG）增强了具有外部知识的大语言模型（LLMS），但传统的单格抹布在解决复杂的查询方面基本上仍有限制，要求在各个异质数据生态系统中进行协调推理。我们提出了HM-rag，这是一种新型的层次多代理多模式抹布框架，开创了协作智能，以跨结构化，非结构化和基于图形的数据进行动态知识综合。该框架由具有专业代理的三层体系结构组成：一种分解剂，通过语义吸引的查询重写和模式引导的上下文增强将复杂查询分解为上下文相干的子任务；使用专为向量，图形和基于Web的数据库设计的插件模块进行平行，模式特定检索的多源检索剂；以及使用一致性投票来整合多源答案并通过专家模型改进来检索结果的决策代理 ...
检索型生成的查询路由旨在将输入查询分配给最合适的搜索引擎。现有作品在很大程度上依赖于需要大量手动注释的监督数据集，导致高成本和有限的可扩展性以及对分布外情景的不良概括。为了应对这些挑战，我们介绍了一种新颖的无监督方法，该方法构建了“上限”响应，以评估检索功能的响应的质量 ...
虽然检索增强的生成（RAG）系统通过纳入外部知识来增强大语模型（LLMS），但它们仍然面临着持续的挑战，在检索效率低下和LLMS无法过滤无关的信息中。我们提出了无监督的框架，它通过帕累托原理指导，通过句子级的改进来优化抹布系统。通过将段落分解为句子和动态重新加权的核心内容，同时保持上下文连贯性，Paretorag可以在不需要额外的培训或API资源的情况下进行检索精度和发电质量的双重改进 ...
检索增强的生成（RAG）被广泛用于将外部知识纳入大型语言模型，从而最大程度地减少了幻觉。标准的RAG管道可能包括多个组件，例如查询重写，文档检索，文档过滤和答案生成。但是，这些组件通常是通过监督的微调分别优化的，这可能导致单个模块的目标之间的未对准以及在提问（QA）任务中产生准确答案的总体目的 ...
随着预期型型号（PMS）的不断增长，对它们进行微调变得更加昂贵和渴望。作为一种补救措施，低级适配器（LORA）将模型的主要审计权重冻结，只是在模型中引入了一些可学习的截短SVD模块（所谓的Lora块）。虽然洛拉块是参数效率的，但它们遇到了两个主要问题：首先，这些块的大小是固定的，无法在训练后修改（例如，如果我们需要更改Lora块的排名，那么我们需要从Scratch重新培训它们）；其次，优化其排名需要详尽的搜索和精力 ...
尽管经过预审慎的网络的特定任务填充导致了NLP的重大经验进步，但大型网络使得填充很难在多任务，内存约束的设置中部署。我们提出DIFF修剪作为一种简单的方法，以在预处理框架内启用参数有效的转移学习。这种方法将列式调查视为学习特定于任务的DIFF向量，该向量是在预验证的参数向量上应用的，该参数向量保持固定并在不同的任务中共享 ...
检索增强的生成（RAG）通过整合从知识库中检索的外部知识来增强大型语言模型（LLM）。但是，它的有效性在根本上受到猎犬和知识库的可靠性的限制。在实际情况下，这些组成部分的缺陷通常会导致检索嘈杂，无关紧要或误导性的反事实信息，最终破坏了抹布系统的可信度 ...
微调是针对特定任务量身定制预训练的大语言模型的主要方法。随着模型的规模和任务的多样性的扩展，参数有效的微调方法至关重要。使用最广泛的方法家族之一是低级适应（Lora）及其变体 ...
培训模型可以充当可以有效地在复杂环境中（例如Web浏览器）中导航和执行操作的代理商，通常由于缺乏培训数据而具有挑战性。大型语言模型（LLMS）最近证明了以零镜头或少数拍摄方式导航新颖环境的能力，纯粹由自然语言指导作为提示引导。最近的研究还表明，LLM具有通过自我完善的能力超过其基本绩效 ...