InstructGraph: Boosting Large Language Models via Graph-centric Instruction Tuning and Preference Alignment

当前的大型语言模型（LLM）是否可以通过参数更新更好地解决图形推理和生成任务？在本文中，我们提出了 InstructGraph，这是一个框架，通过指令调整和偏好对齐，赋予 LLM 图形推理和生成的能力。具体来说，我们首先提出一种结构化格式语言器，将所有图数据统一为通用的类似代码的格式，它可以简单地表示图，而无需任何外部特定于图的编码器。此外，还引入了图形指令调整阶段来指导 LLM 解决图形推理和生成任务 ...

KGLM: Integrating Knowledge Graph Structure in Language Models for Link Prediction

知识图大规模表示复杂关系的能力使其能够满足各种需求，包括知识表示、问答和推荐系统。知识图谱所表示的信息通常是不完整的，因此需要知识图谱补全任务。预训练和微调的语言模型在这些任务中显示出了前景，尽管这些模型忽略了知识图中编码的内在信息，即实体和关系类型 ...

Real-Time Open-Domain Question Answering with Dense-Sparse Phrase Index

现有的开放域问答（QA）模型不适合实时使用，因为它们需要针对每个输入查询按需处理多个长文档。在本文中，我们介绍了与查询无关的文档短语可索引表示，它可以大大加快开放域 QA 的速度，并允许我们达到长尾目标。特别是，我们的密集稀疏短语编码有效地捕获了短语的句法、语义和词汇信息，并消除了上下文文档的管道过滤 ...

Reformatted Alignment

微调数据的质量对于使大型语言模型 (LLM) 与人类价值观保持一致至关重要。目前提高数据质量的方法要么是劳动密集型的，要么容易出现由 LLM 幻觉引起的事实错误。本文探讨了如何提高现有教学数据的质量，以更好地符合人类价值观，引入了一种名为 ReAlign 的简单有效的方法，该方法将教学数据的响应重新格式化为更符合预先制定的标准和整理证据的格式 ...

Learning or Self-aligning? Rethinking Instruction Fine-tuning

指令微调（IFT）是构建大型语言模型（LLM）的关键阶段。之前的工作主要集中于 IFT 在行为规范迁移和额外世界知识学习中的作用。然而，对 IFT 潜在机制的理解仍然非常有限 ...