基本信息

工业大规模推荐模型（LRM）面临着在严格的效率约束下联合建模远程用户行为序列和异构非序列特征的挑战。然而，大多数现有架构采用解耦管道：长序列首先使用基于查询 Token 的序列压缩器（如 LONGER）进行压缩，然后通过 Token 混合模块（如 RankMixer）与密集特征融合，从而限制了表示能力和交互灵活性。本文提出了 HyFormer，这是一种统一的混合 Transformer 架构，它将长序列建模和特征交互紧密集成到单个主干中。从序列建模的角度来看，我们重新审视和设计了LRM中的查询标记，并将LRM建模任务框架为一个集成了两个核心组件的交替优化过程：查询解码，将非序列特征扩展为全局标记，并对长行为序列的逐层键值表示执行长序列解码；查询提升（Query Boosting），通过有效的 Token 混合增强交叉查询和跨序列异构交互。这两种互补机制迭代执行，以细化跨层的语义表示。对数十亿规模的工业数据集进行的大量实验表明，在相当的参数和 FLOP 预算下，HyFormer 始终优于强大的 LONGER 和 RankMixer 基线，同时随着参数和 FLOP 的增加而表现出卓越的扩展行为。高流量生产系统中的大规模在线 A/B 测试进一步验证了其有效性，显示出比部署的最先进模型的显着收益。这些结果凸显了 HyFormer 作为工业 LRM 统一建模框架的实用性和可扩展性 ...