Context Tuning for Retrieval Augmented Generation

大型语言模型 (LLM) 具有只需几个示例即可解决新任务的卓越能力，但它们需要使用正确的工具。检索增强生成 (RAG) 通过检索给定任务的相关工具列表来解决此问题。然而，RAG 的工具检索步骤要求所有必需的信息都显式地出现在查询中 ...

Dual-Feedback Knowledge Retrieval for Task-Oriented Dialogue Systems

高效的知识检索通过促进选择满足用户请求所需的相关信息，在确保端到端面向任务的对话系统的成功方面发挥着关键作用。然而，当前的方法通常集成知识检索和响应生成，这在处理广泛的知识库时带来了可扩展性挑战。受到开放域问答的启发，我们提出了一种检索器-生成器架构，它利用检索器来检索相关知识，并利用生成器来生成系统响应 ...

RAGAR, Your Falsehood Radar: RAG-Augmented Reasoning for Political Fact-Checking using Multimodal Large Language Models

错误信息的挑战不断升级，特别是在政治言论中，需要先进的事实核查解决方案；在更复杂的多式联运索赔情况下，这一点更加明显。我们使用多模态大语言模型结合检索增强生成（RAG）来解决这个问题，并引入两种新颖的推理技术：RAG 链（CoRAG）和 RAG 树（ToRAG）。他们通过提取文本和图像内容、检索外部信息并根据先前的证据推理要回答的后续问题来对多模式主张进行事实核查 ...

In-Context Retrieval-Augmented Language Models

检索增强语言建模 (RALM) 方法在生成过程中根据基础语料库中的相关文档来调节语言模型 (LM)，该方法被证明可以显着提高语言建模性能。此外，它们还可以缓解文本生成事实上不准确的问题，并提供自然来源归因机制。现有的 RALM 方法侧重于修改 LM 架构，以促进外部信息的合并，从而使部署变得非常复杂 ...

CodeGRAG: Bridging the Gap between Natural Language and Programming Language via Graphical Retrieval Augmented Generation

利用大型语言模型生成代码在软件开发革命中显示出了良好的意义。尽管一般大型语言模型表现出智能，但由于自然语言和不同编程语言之间存在句法差距和词汇不匹配，它们在代码生成方面的特异性仍然可以提高。在本文中，我们提出了 CodeGRAG，一种图形检索增强代码生成框架，以增强 LLM 的性能 ...

BEnQA: A Question Answering and Reasoning Benchmark for Bengali and English

在这项研究中，我们引入了 BEnQA，这是一个包含孟加拉国初高中水平的平行孟加拉语和英语考试问题的数据集。我们的数据集包含大约 5000 个问题，涵盖多个科学主题，具有不同类型的问题，包括基于事实、应用和推理的问题。我们使用并行数据集对多个大型语言模型 (LLM) 进行基准测试，并观察到孟加拉语和英语模型之间存在显着的性能差异 ...

ScholarChemQA: Unveiling the Power of Language Models in Chemical Research Question Answering

问答（QA）有效评估语言模型的推理和知识深度。虽然一般领域和生物医学等领域的 QA 数据集非常丰富，但学术化学的探索却很少。化学质量保证通过有效地将复杂的化学信息转化为易于理解的格式，在教育和研究中发挥着至关重要的作用 ...

ChemBERTa: Large-Scale Self-Supervised Pretraining for Molecular Property Prediction

GNN 和化学指纹是代表分子进行属性预测的主要方法。然而，在 NLP 中，由于其强大的下游任务迁移能力，Transformer 已成为表示学习事实上的标准。与此同时，围绕 Transformer 的软件生态系统正在迅速成熟，HuggingFace 和 BertViz 等库可以简化培训和内省 ...

ChemBERTa-2: Towards Chemical Foundation Models

GPT-3 等大型预训练模型利用自我监督学习来学习显着表示，从而可轻松地对各种下游任务进行微调，从而对现代自然语言处理产生了巨大影响。我们通过使用 SMILES 语言构建化学基础模型 ChemBERTa-2，研究了将这些进步转移到分子机器学习的可能性。虽然分子预测任务的标记数据通常很少，但 SMILES 字符串库很容易获得 ...

Could Chemical LLMs benefit from Message Passing

预训练语言模型 (LM) 展示了处理分子文本的重要能力，同时，消息传递神经网络 (MPNN) 展示了分子科学领域的弹性和多功能性。尽管取得了这些进展，我们发现调查分子结构及其相应文本表示之间的双向相互作用的研究仍然有限。因此，在本文中，我们提出了两种策略来评估信息集成是否可以提高性能：对比学习（涉及利用 MPNN 来监督 LM 的训练）和融合（利用来自两个模型的信息） ...