大型语言模型（LLM）经常产生幻觉——看似合理但实际上不正确的输出——从而破坏了它们的可靠性。虽然之前的工作已经从宏观角度（例如训练数据和目标）研究了幻觉，但潜在的神经元级机制在很大程度上仍未被探索。在本文中，我们从识别、行为影响和起源三个角度对 LLM 中的幻觉相关神经元（H-Neurons）进行了系统研究。关于它们的识别，我们证明了一个非常稀疏的神经元子集（少于神经元总数的 0.1\%$）可以可靠地预测幻觉的发生，并且在不同的场景中具有很强的泛化性。就行为影响而言，受控干预表明这些神经元与过度顺从行为存在因果关系。关于它们的起源，我们将这些神经元追溯到预先训练的基础模型，发现这些神经元仍然可以预测幻觉检测，表明它们是在预训练期间出现的。我们的研究结果将宏观行为模式与微观神经机制联系起来，为开发更可靠的 LLM 提供了见解 ...
我们提出了RubikSQL，这是一种新颖的NL2SQL系统，旨在解决现实世界中的NL2SQL中的关键挑战，例如隐式意图和特定领域的术语。 RubikSQL将NL2SQL作为一项终身学习任务，要求知识库（KB）维护和SQL生成。 RubikSQL系统地通过包括数据库分析，结构化信息提取，代理规则挖掘和思想链（COT）增强的SQL PROPILING，系统地构建和完善其KB ...
学习单词表示最近在计算语言学方面取得了很大的成功。但是，假设单词 Token 作为语言分析的输入通常是没有道理的。对于许多语言而言，单词分割是一项非平凡的任务，自然存在的文本有时是自然语言字符串和其他字符数据的混合 ...