Real-Time Open-Domain Question Answering with Dense-Sparse Phrase Index

现有的开放域问答（QA）模型不适合实时使用，因为它们需要针对每个输入查询按需处理多个长文档。在本文中，我们介绍了与查询无关的文档短语可索引表示，它可以大大加快开放域 QA 的速度，并允许我们达到长尾目标。特别是，我们的密集稀疏短语编码有效地捕获了短语的句法、语义和词汇信息，并消除了上下文文档的管道过滤 ...

Reformatted Alignment

微调数据的质量对于使大型语言模型 (LLM) 与人类价值观保持一致至关重要。目前提高数据质量的方法要么是劳动密集型的，要么容易出现由 LLM 幻觉引起的事实错误。本文探讨了如何提高现有教学数据的质量，以更好地符合人类价值观，引入了一种名为 ReAlign 的简单有效的方法，该方法将教学数据的响应重新格式化为更符合预先制定的标准和整理证据的格式 ...

Learning or Self-aligning? Rethinking Instruction Fine-tuning

指令微调（IFT）是构建大型语言模型（LLM）的关键阶段。之前的工作主要集中于 IFT 在行为规范迁移和额外世界知识学习中的作用。然而，对 IFT 潜在机制的理解仍然非常有限 ...