在这项工作中，我们明确表明，现代 LLM 倾向于首先生成正确的事实，然后“偏离”并随后生成错误的事实：偶尔会观察到这种情况，但从未正确测量过。我们开发了一个语义漂移分数，用于衡量生成文本中正确和不正确事实之间的分离程度，并在生成维基百科风格的传记时证实我们的假设。这种先正确后错误的生成模式表明，通过了解何时停止生成可以提高事实准确性 ...
法律判决预测（LJP）应用自然语言处理（NLP）技术，根据事实描述自动预测判决结果。最近，大规模公共数据集和 NLP 研究的进展导致人们对 LJP 的兴趣日益浓厚。尽管机器和人类的表现之间存在明显差距，但在各种基准数据集中仍取得了令人印象深刻的结果 ...
GPT-4 等通用基础模型在各种领域和任务中展现了令人惊讶的能力。然而，人们普遍认为它们无法与微调模型的专业能力相匹配。例如，迄今为止大多数关于医疗能力基准的探索都利用了特定领域的培训，BioGPT 和 Med-PaLM 的努力就是例证 ...
我们提出了后退提示，这是一种简单的提示技术，使LLM能够进行抽象，从包含特定细节的实例中导出高级概念和第一原理。利用概念和原则来指导推理，LLM可以显着提高他们遵循正确的推理路径获得解决方案的能力。我们使用PaLM-2L、GPT-4和Llama2-70B模型进行了后退提示实验，并观察到各种常见的推理密集型任务（包括STEM、知识）质量保证和多跳推理）上取得了显着的性能提升...... ...
法律案件检索和判决预测是智能法律系统的重要组成部分。在实践中，通过法律判决预测判断两个案件是否具有相同罪名对于案件检索中确定其相关性至关重要。然而，目前法律案例检索的研究仅仅关注配对案例之间的语义相似性，而忽略了它们的指控级别一致性 ...
基于内容的生成任务的高质量内容已被认为是推进这些任务的主要障碍。为了解决这一差距，我们提出了Genie，一种自动生成高质量内容基础的数据新方法。它由三个阶段组成：(a) 内容准备，(b) 生成：根据内容创建特定于任务的示例（例如，示例） ... ...
收集相关判决书进行法律案件检索是一项具有挑战性且耗时的任务。准确判断两个法律案件之间的关联性，需要付出相当大的努力来阅读冗长的文本，并需要高水平的领域专业知识来提取法律事实并做出司法判断。随着先进的大语言模型的出现，最近的一些研究表明使用 LLM 进行相关性判断是有希望的 ...
大型语言模型（LLM）最近已被用于各种自然语言处理（NLP）任务的训练数据生成器。虽然之前的研究探索了使用生成数据模型的不同方法，但它们通常依赖于简单的类条件提示，这可能会限制生成数据的多样性训练并继承LLM的系统偏差因此。，我们研究具有不同属性提示的数据生成（例如，... ...
上下文学习（ICL）是大语言模型（LLM）时代的趋势提示策略，其中展示了一些例子来激发LLM对给定任务的能力。如何选择信息丰富的示例仍然是一个悬而未决的问题。之前关于机器翻译（MT）的上下文示例选择的工作侧重于表面的单词级特征，而忽略了深层的语法级知识 ...
预测知识图谱（KG）中的多个链接的任务是知识图谱分析领域的一个挑战，由于自然语言处理（NLP）和知识图谱嵌入技术的进步，这一挑战越来越容易解决。本文介绍了一种新颖的方法，即知识图大语言模型框架（KG-LLM），该框架利用关键的 NLP 范式，包括思想链（CoT）提示和上下文学习（ICL）来增强多跳KG 中的链接预测。通过将 KG 转换为 CoT 提示，我们的框架旨在辨别和学习实体的潜在表示及其相互关系 ...