大型语言模型 (LLM) 具有只需几个示例即可解决新任务的卓越能力,但它们需要使用正确的工具。检索增强生成 (RAG) 通过检索给定任务的相关工具列表来解决此问题。然而,RAG 的工具检索步骤要求所有必需的信息都显式地出现在查询中 ...

0 0 0 0 2024/12/26 arXiv:2312.05708v1 15966829631

高效的知识检索通过促进选择满足用户请求所需的相关信息,在确保端到端面向任务的对话系统的成功方面发挥着关键作用。然而,当前的方法通常集成知识检索和响应生成,这在处理广泛的知识库时带来了可扩展性挑战。受到开放域问答的启发,我们提出了一种检索器-生成器架构,它利用检索器来检索相关知识,并利用生成器来生成系统响应 ...

0 0 0 0 2024/12/26 arXiv:2310.14528v1 15966829631

错误信息的挑战不断升级,特别是在政治言论中,需要先进的事实核查解决方案;在更复杂的多式联运索赔情况下,这一点更加明显。我们使用多模态大语言模型结合检索增强生成(RAG)来解决这个问题,并引入两种新颖的推理技术:RAG 链(CoRAG)和 RAG 树(ToRAG)。他们通过提取文本和图像内容、检索外部信息并根据先前的证据推理要回答的后续问题来对多模式主张进行事实核查 ...

0 0 0 0 2024/12/26 arXiv:2404.12065v2 15966829631

检索增强语言建模 (RALM) 方法在生成过程中根据基础语料库中的相关文档来调节语言模型 (LM),该方法被证明可以显着提高语言建模性能。此外,它们还可以缓解文本生成事实上不准确的问题,并提供自然来源归因机制。现有的 RALM 方法侧重于修改 LM 架构,以促进外部信息的合并,从而使部署变得非常复杂 ...

0 0 0 0 2024/12/26 arXiv:2302.00083v3 15966829631

利用大型语言模型生成代码在软件开发革命中显示出了良好的意义。尽管一般大型语言模型表现出智能,但由于自然语言和不同编程语言之间存在句法差距和词汇不匹配,它们在代码生成方面的特异性仍然可以提高。在本文中,我们提出了 CodeGRAG,一种图形检索增强代码生成框架,以增强 LLM 的性能 ...

0 0 0 0 2024/12/25 arXiv:2405.02355v3 15966829631

在这项研究中,我们引入了 BEnQA,这是一个包含孟加拉国初高中水平的平行孟加拉语和英语考试问题的数据集。我们的数据集包含大约 5000 个问题,涵盖多个科学主题,具有不同类型的问题,包括基于事实、应用和推理的问题。我们使用并行数据集对多个大型语言模型 (LLM) 进行基准测试,并观察到孟加拉语和英语模型之间存在显着的性能差异 ...

0 0 0 0 2024/12/24 arXiv:2403.10900v1 15966829631

问答(QA)有效评估语言模型的推理和知识深度。虽然一般领域和生物医学等领域的 QA 数据集非常丰富,但学术化学的探索却很少。化学质量保证通过有效地将复杂的化学信息转化为易于理解的格式,在教育和研究中发挥着至关重要的作用 ...

0 0 0 0 2024/12/24 arXiv:2407.16931v1 15966829631

GNN 和化学指纹是代表分子进行属性预测的主要方法。然而,在 NLP 中,由于其强大的下游任务迁移能力,Transformer 已成为表示学习事实上的标准。与此同时,围绕 Transformer 的软件生态系统正在迅速成熟,HuggingFace 和 BertViz 等库可以简化培训和内省 ...

0 0 0 0 2024/12/24 arXiv:2010.09885v2 15966829631

GPT-3 等大型预训练模型利用自我监督学习来学习显着表示,从而可轻松地对各种下游任务进行微调,从而对现代自然语言处理产生了巨大影响。我们通过使用 SMILES 语言构建化学基础模型 ChemBERTa-2,研究了将这些进步转移到分子机器学习的可能性。虽然分子预测任务的标记数据通常很少,但 SMILES 字符串库很容易获得 ...

0 0 0 0 2024/12/24 arXiv:2209.01712v1 15966829631

预训练语言模型 (LM) 展示了处理分子文本的重要能力,同时,消息传递神经网络 (MPNN) 展示了分子科学领域的弹性和多功能性。尽管取得了这些进展,我们发现调查分子结构及其相应文本表示之间的双向相互作用的研究仍然有限。因此,在本文中,我们提出了两种策略来评估信息集成是否可以提高性能:对比学习(涉及利用 MPNN 来监督 LM 的训练)和融合(利用来自两个模型的信息) ...

0 0 0 0 2024/12/24 arXiv:2405.08334v2 15966829631

来一起翻译吧!


为了您和其他读者获得更好的阅读体验,请您在阅读时勇敢地改正翻译,特别是一些显而易见的机器翻译错误。


虽然我们追求卓越,但我们并不要求翻译十全十美,因此请不要担心您翻译有误 —— 我们的服务器已经记录所有的翻译,您不必担心会因为您的失误导致无法挽回的破坏。(改编自维基百科)