Retrieval-Augmented Generation with Knowledge Graphs for Customer Service Question Answering

在客服技术支持中，快速、准确地检索相关历史问题对于高效解决客户咨询至关重要。大型语言模型 (LLM) 的检索增强生成 (RAG) 中的传统检索方法将过去问题跟踪单的大型语料库视为纯文本，忽略了关键的问题内结构和问题间关系，这限制了性能。我们引入了一种新颖的客户服务问答方法，将 RAG 与知识图 (KG) 相结合 ...

Beyond Chain-of-Thought: A Survey of Chain-of-X Paradigms for LLMs

思想链（CoT）是一种广泛采用的提示方法，引发了大型语言模型（LLM）令人印象深刻的推理能力。受 CoT 顺序思维结构的启发，开发了许多 Chain-of-X (CoX) 方法来解决涉及 LLM 的不同领域和任务的各种挑战。在本文中，我们对不同背景下 LLM 的 Chain-of-X 方法进行了全面的调查 ...

Advancing the Search Frontier with AI Agents

正如信息检索 (IR) 研究界的许多人所了解和认识到的那样，搜索远不是一个已解决的问题。每天都有数百万人在搜索引擎上苦苦挣扎。通常，他们的困境与任务的内在复杂性以及搜索系统未能完全理解任务并提供相关结果有关 ...

Evaluating Verifiability in Generative Search Engines

生成搜索引擎直接生成对用户查询的响应以及内联引用。值得信赖的生成搜索引擎的先决条件是可验证性，即 ...

Randomized Sharpness-Aware Training for Boosting Computational Efficiency in Deep Learning

通过驱动模型收敛到平坦最小值，锐度感知学习算法（例如 SAM）已显示出实现最先进性能的能力。然而，这些算法通常会在每次训练迭代时产生一次额外的前向-后向传播，这极大地增加了计算负担，尤其是对于可扩展模型而言。为此，我们提出了一种简单而有效的训练方案，称为随机清晰度感知训练（RST） ...

Visualizing the Loss Landscape of Neural Nets

神经网络训练依赖于我们找到高度非凸损失函数的“好的”最小化器的能力。众所周知，某些网络架构设计（例如 ...

Surrogate Gap Minimization Improves Sharpness-Aware Training

最近提出的锐度感知最小化（SAM）通过最小化被定义为参数空间邻域内的最大损失的textit{扰动损失}来提高泛化能力。然而，我们表明尖锐和平坦的最小值都可以具有较低的扰动损失，这意味着 SAM 并不总是更喜欢平坦的最小值。相反，我们定义一个 \textit{代理间隙}，当邻域半径（用于导出扰动损失）很小时，该度量相当于局部最小值处 Hessian 的主导特征值 ...

Sharpness-Aware Minimization for Efficiently Improving Generalization

在当今严重过度参数化的模型中，训练损失的值几乎无法保证模型的泛化能力。事实上，像通常所做的那样，仅优化训练损失值很容易导致模型质量不理想。受先前将损失景观的几何形状与泛化联系起来的工作的启发，我们引入了一种新颖、有效的程序，可以同时最小化损失值和损失锐度 ...

Agent-Pro: Learning to Evolve via Policy-Level Reflection and Optimization

大型语言模型表现出针对不同任务的强大的问题解决能力。然而，大多数基于 LLM 的代理被设计为具有复杂提示工程的特定任务解决器，而不是能够通过交互学习和进化的代理。这些任务解决器需要手动制作提示来告知任务规则并规范 LLM 行为，本质上无法解决复杂的动态场景，例如 ...