Vector Quantization for Recommender Systems: A Review and Outlook

矢量量化以其无与伦比的特征压缩能力而闻名，几十年来一直是信号处理和机器学习研究中的一个突出主题，并且至今仍被广泛使用。随着大型模型和生成式人工智能的出现，矢量量化在推荐系统中越来越受欢迎，成为首选解决方案。本文首先全面回顾矢量量化技术。然后探索推荐系统（VQ4Rec）矢量量化方法的系统分类，从多个角度检查其应用。此外，它还全面介绍了不同推荐场景中的研究工作，包括以效率为导向的方法和以质量为导向的方法。最后，调查分析了 VQ4Rec 中剩余的挑战并预测了未来的趋势，包括与矢量量化训练相关的挑战、大型语言模型带来的机遇以及多模态推荐系统的新兴趋势。我们希望这项调查能够为推荐社区的未来研究人员铺平道路，并加速他们在这个充满希望的领域的探索 ...

Temperature-Free Loss Function for Contrastive Learning

作为自监督学习中最有前途的方法之一，对比学习在众多领域取得了一系列突破。实现对比学习的主要方法是应用 InfoNCE 损失：通过捕获对之间的相似性，InfoNCE 损失可以学习数据的表示。尽管取得了成功，但采用 InfoNCE 损失需要调整温度，这是校准相似性分数的核心超参数。尽管多项研究强调了它的重要性和对性能的敏感性，但寻找有效的温度需要进行大量的基于试错的实验，这增加了采用 InfoNCE 损失的难度。为了解决这个困难，我们提出了一种在没有温度的情况下部署 InfoNCE 损失的新方法。具体来说，我们用反双曲正切函数替换温度缩放，从而产生修改后的 InfoNCE 损失。除了无超参数部署之外，我们还观察到所提出的方法甚至在对比学习中产生了性能增益。我们详细的理论分析发现，当前 InfoNCE 损失中温度缩放的做法会导致梯度下降出现严重问题，而我们的方法提供了理想的梯度特性。所提出的方法在对比学习的五个基准上进行了验证，无需温度调整即可产生令人满意的结果 ...

ProtoDiff: Learning to Learn Prototypical Networks by Task-Guided Diffusion

基于原型的元学习已成为解决小样本学习挑战的强大技术。然而，使用来自有限数量的示例的简单平均函数来估计确定性原型仍然是一个脆弱的过程。为了克服这一限制，我们引入了 ProtoDiff，这是一种新颖的框架，它在元训练阶段利用任务引导的扩散模型来逐步生成原型，从而提供有效的类表示 ...

Prototype Optimization with Neural ODE for Few-Shot Learning

少样本学习（FSL）是一项具有挑战性的任务，旨在用很少的例子来识别新的类。基于预训练的方法通过预训练特征提取器，然后通过具有基于平均值的原型的余弦分类器执行类别预测，有效地解决了该问题。然而，由于数据稀缺，基于平均值的原型通常存在偏差 ...

GemiRec: Interest Quantization and Generation for Multi-Interest Recommendation

多兴趣推荐受到关注，特别是在工业检索阶段。与经典的双塔方法不同，它生成多个用户表示而不是单个用户表示来对综合用户兴趣进行建模。然而，先前的研究已经发现了两个潜在的局限性：第一个是利益崩溃，即多种表征同质化 ...

Cross-attention Secretly Performs Orthogonal Alignment in Recommendation Models

跨域顺序推荐（CDSR）旨在对齐从不同域收集的异构用户行为序列。虽然交叉注意力被广泛用于增强一致性和提高推荐性能，但其底层机制尚不完全清楚。大多数研究人员将交叉注意力解释为残差对齐，其中通过引用另一个域数据（即输入键和值）从查询输入中删除冗余并保留非冗余信息来生成输出 ...

Adaptive User Interest Modeling via Conditioned Denoising Diffusion For Click-Through Rate Prediction

搜索系统中的用户行为序列类似于“兴趣化石”，捕捉真实意图，但受到曝光偏差、类别漂移和上下文噪声的侵蚀。当前的方法主要遵循“识别聚合”范式，假设序列一成不变地反映用户偏好，同时忽略噪声和真正兴趣的有机纠缠。此外，它们输出静态的、与上下文无关的表示，无法适应不同的查询-用户-项目-上下文条件下的动态意图变化 ...

Preference Trajectory Modeling via Flow Matching for Sequential Recommendation

顺序建议根据每个用户的历史交互序列预测下一个项目。最近，扩散模型由于对用户兴趣分布的强大能力而引起了该领域的大大关注。他们通常通过降低基于历史互动来调节的高斯噪声来产生目标项目 ...

Similarity-Guided Diffusion for Contrastive Sequential Recommendation

在顺序推荐系统中，最近使用扩散模型引入了数据增强和对比度学习技术，以实现强大的表示。但是，大多数现有方法都使用随机增强，这可能会损害原始序列的上下文信息。因此，我们提出了相似性引导的扩散，以进行对比顺序推荐 ...

Shapley Value-driven Data Pruning for Recommender Systems

推荐系统通常会遇到嘈杂的互动，例如意外点击或受欢迎程度偏见。现有的denoising方法通常会在其交互中识别用户的意图，并过滤掉偏离假定意图的嘈杂交互。但是，他们忽略了被认为嘈杂的互动仍然可以帮助模型培训，而某些``清洁''互动几乎没有学习价值 ...