Retrieval is Accurate Generation

标准语言模型通过从固定、有限和独立的词汇表中选择标记来生成文本。我们引入了一种新颖的方法，可以从支持文档集合中选择上下文感知短语。这种范式转变最重大的挑战之一是确定训练预言，因为可以以各种方式对文本字符串进行分段，并且可以从许多可能的文档中检索每个分段 ...

RE-RAG: Improving Open-Domain QA Performance and Interpretability with Relevance Estimator in Retrieval-Augmented Generation

检索增强生成（RAG）框架通过引用外部知识在开放域问答任务上展示了最先进的性能。然而，当 RAG 系统被提供低相关性的上下文或输入上下文之间的相对相关性评估不准确时，它会面临性能下降的挑战。在这项工作中，我们提出了一个 RE-RAG 框架，它将显式上下文相关性估计器 (RE) 注入到 RAG 系统中 ...

Synchronous Faithfulness Monitoring for Trustworthy Retrieval-Augmented Generation

检索增强语言模型（RALM）在知识密集型任务中表现出强大的性能和广泛的适用性。然而，由于 RALM 容易产生不忠实的输出，包括毫无根据的信息或与检索到的上下文相矛盾，因此存在严重的可信度问题。本文提出了 SynCheck，这是一种轻量级监控器，它利用细粒度解码动态，包括序列似然、不确定性量化、上下文影响和语义对齐来同步检测不忠实句子 ...

Improving Retrieval-augmented Text-to-SQL with AST-based Ranking and Schema Pruning

我们从大型语言模型的角度关注文本到 SQL 的语义解析。受到与商业数据库模式的大小和商业智能解决方案的可部署性相关的挑战的推动，我们提出了一种动态检索输入数据库信息并使用抽象语法树来选择少量样本进行上下文学习的方法。此外，我们还研究了可以在多大程度上利用并行语义解析器来生成预期 SQL 查询的 $\textit{approximated}$ 版本，以支持我们的检索 ...

RoNID: New Intent Discovery with Generated-Reliable Labels and Cluster-friendly Representations

新意图发现（NID）致力于在开放世界场景中识别已知的并合理推断新的意图组。但当前的方法面临着不准确的伪标签和较差的表示学习的问题，从而产生了负反馈循环，降低了模型的整体性能，包括准确性和调整后的兰特指数。为了解决上述挑战，我们提出了一种通过 EM 风格方法优化的鲁棒新意图发现（RoNID）框架，该框架专注于构建可靠的伪标签并获得集群友好的判别表示 ...

A New Dialogue Response Generation Agent for Large Language Models by Asking Questions to Detect User's Intentions

ChatGPT 等大型语言模型 (LLM) 由于其开放域生成功能，最近已应用于各种 NLP 任务。然而，将 LLM 应用于对话任务存在两个问题。 1. ...

Putting Context in Context: the Impact of Discussion Structure on Text Classification

当前的文本分类方法通常关注要分类的内容。即使在基于在线讨论的任务中，语境方面（语言的和语言外的）通常被忽视。尽管如此，在许多情况下，可以有效地利用选择这些要素的背景的多方和多轮性质 ...

Knowledgeable Prompt-tuning: Incorporating Knowledge into Prompt Verbalizer for Text Classification

使用特定于任务的提示调整预训练语言模型 (PLM) 是一种很有前景的文本分类方法。特别是，之前的研究表明，在低数据场景下，即时调整比带有额外分类器的通用微调方法具有显着的优越性。提示调整的核心思想是插入文本片段，即 ...

LLM-based policy generation for intent-based management of applications

自动化管理需要将高层用户请求（例如意图）分解为系统可以理解和执行的抽象。这是具有挑战性的，因为即使是一个简单的意图也需要执行许多有序的步骤。识别和调整这些步骤（随着条件的变化）的任务需要一种无法预先精确定义的分解方法 ...

IntentionQA: A Benchmark for Evaluating Purchase Intention Comprehension Abilities of Language Models in E-commerce

增强语言模型（LM）在电子商务场景中理解购买意图的能力对于其有效协助各种下游任务至关重要。然而，以前从 LM 中提取意图的方法通常无法生成适用于现实世界电子商务环境的有意义且以人为中心的意图。这引发了人们对LM对购买意图的真实理解和利用的担忧 ...