Leveraging Semantic and Lexical Matching to Improve the Recall of Document Retrieval Systems: A Hybrid Approach

搜索引擎通常遵循两阶段范例，其中在第一阶段（检索阶段）检索初始文档集，在第二阶段（重新排名阶段）对文档重新排名以获得最终结果列表。虽然在之前的工作中，深度神经网络被证明可以提高重新排序阶段的性能，但很少有关于使用深度神经网络来改善检索阶段的文献。在本文中，我们研究了检索阶段结合深度神经网络模型和词汇模型的优点 ...

Fine-Tuning Large Language Models with User-Level Differential Privacy

我们研究了实用且可扩展的算法，用于训练具有用户级差分隐私（DP）的大型语言模型（LLM），以便可靠地保护每个用户贡献的所有示例。我们研究了 DP-SGD 的两种变体：(1) 示例级采样 (ELS) 和每示例梯度裁剪，以及 (2) 用户级采样 (ULS) 和每用户梯度裁剪。我们推导出一种新颖的用户级 DP 会计师，使我们能够为 ELS 计算可证明的严格隐私保证 ...

On the Client Preference of LLM Fine-tuning in Federated Learning

具有人类反馈的强化学习 (RLHF) 使用偏好数据集对预训练的大语言模型 (LLM) 进行微调，使 LLM 能够生成符合人类偏好的输出。考虑到不同客户持有的这些偏好数据集的敏感性，需要在联邦学习 (FL) 框架内实施 RLHF，而客户出于隐私问题不愿意共享其数据。为了解决这个问题，我们引入了一个可行的框架，其中客户使用我们提出的 FedBis 以其偏好数据集协作训练二元选择器 ...

Fine-tuning Aligned Language Models Compromises Safety, Even When Users Do Not Intend To!

下游场景优化大型语言模型（LLM）通常涉及通过进一步定制预的LLM。Meta公开发布的Llama模型和OpenAI用于在自定义数据集上关系GPT-3.5 Turbo的API也鼓励了这种做法... ...