Improving Retrieval for RAG based Question Answering Models on Financial Documents

大型语言模型 (LLM) 生成准确响应的有效性在很大程度上依赖于所提供输入的质量，特别是在采用检索增强生成 (RAG) 技术时。 RAG 通过寻找最相关的文本块作为查询基础来增强 LLM 。尽管近年来 LLM 的回答质量取得了显着进步，但用户仍然可能会遇到不准确或不相关的答案；这些问题通常源于 RAG 的次优文本块检索，而不是 LLM 的固有能力 ...

Enhancing Q&A with Domain-Specific Fine-Tuning and Iterative Reasoning: A Comparative Study

本文研究了特定领域模型微调和推理机制对由大型语言模型 (LLM) 和检索增强生成 (RAG) 驱动的问答 (Q&A) 系统性能的影响。使用 FinanceBench SEC 财务申报数据集，我们观察到，对于 RAG，将微调嵌入模型与微调 LLM 相结合可实现比通用模型更好的准确性，并且微调嵌入模型带来的收益相对较大。此外，在 RAG 之上采用推理迭代可以实现更大的性能飞跃，使问答系统更接近人类专家的质量 ...

ChatDB: Augmenting LLMs with Databases as Their Symbolic Memory

带内存的大型语言模型（LLM）在计算上是通用的。然而，主流的 LLM 并没有充分利用记忆，而且设计很大程度上受到生物大脑的影响。由于其近似性质和容易积累错误，传统的神经记忆机制无法支持 LLM 模拟复杂的推理 ...

TALLRec: An Effective and Efficient Tuning Framework to Align Large Language Model with Recommendation

大型语言模型（LLM）在不同领域表现出了卓越的性能，从而促使研究人员探索其在推荐系统中的应用潜力。最初的尝试利用了 LLM 的卓越能力，例如通过上下文学习丰富的知识和强大的泛化能力，其中涉及将推荐任务表述为提示。然而，由于LLM的训练任务和推荐任务之间存在巨大差异，以及预训练期间的推荐数据不足，LLM在推荐任务中的表现仍然不够理想 ...

An Explanation of In-context Learning as Implicit Bayesian Inference

GPT-3 等大型语言模型 (LM) 具有惊人的上下文学习能力，模型只需根据由输入输出示例组成的提示即可学习完成下游任务。 LM 从这些示例中学习，而无需明确地进行学习预训练。因此，尚不清楚什么能够实现情境学习 ...

LLaRA: Aligning Large Language Models with Sequential Recommenders

顺序推荐旨在根据用户的历史交互来预测与用户偏好匹配的后续项目。随着大型语言模型 (LLM) 的发展，人们越来越有兴趣通过将其作为语言建模任务来探索 LLM 的顺序推荐潜力。先前的工作使用 ID 索引或文本索引来表示文本提示中的项目，并将提示输入 LLM，但未能封装全面的世界知识或表现出足够的顺序理解 ...

Large Language Models for Generative Information Extraction: A Survey

信息提取（IE）旨在从简单的自然语言文本中提取结构知识（例如实体、关系和事件）。最近，生成式大型语言模型（LLM）在文本理解和生成方面表现出了卓越的能力，可以跨不同领域和任务进行泛化。因此，人们提出了许多工作来利用 LLM 的能力，并为基于生成范式的 IE 任务提供可行的解决方案 ...

Teacher Forcing Recovers Reward Functions for Text Generation

强化学习（RL）已广泛应用于文本生成中，以减轻暴露偏差问题或利用非并行数据集。奖励函数对于 RL 训练的成功起着重要作用。然而，以前的奖励函数通常是针对特定任务且稀疏的，限制了强化学习的使用 ...

Causal Distillation for Language Models

蒸馏工作使得语言模型更加紧凑和高效，而性能却没有严重下降。蒸馏的标准方法根据两个目标训练学生模型：特定于任务的目标（例如， ...