Enhancing Taobao Display Advertising with Multimodal Representations: Challenges, Approaches and Insights

尽管多模态数据在提高模型精度方面具有公认的潜力，但许多大型工业推荐系统（包括淘宝展示广告系统）主要依赖于模型中的稀疏ID特征。在这项工作中，我们探索利用多模态态数据来推荐提高准确性的方法。我们首先确定对工业系统有效且具有成本效益的方式采用多模式数据的关键挑战...... ...

Practice on Long Sequential User Behavior Modeling for Click-Through Rate Prediction

点击率 (CTR) 预测对于推荐系统和在线广告等工业应用至关重要。实际上，它通过从丰富的历史行为数据中挖掘用户兴趣，在这些应用程序中的点击率建模中发挥着重要作用。在深度学习发展的推动下，人们提出了具有巧妙设计架构的用于用户兴趣建模的深度CTR模型，与离线度量相比，模型性能有了显着提升 ...

A Survey of Transformers

Transformer在自然语言处理、视觉、音频处理等许多人工智能领域取得了巨大的成功。自然，引起了学术界和工业界研究人员的广泛计算机兴趣。因此，Transformer的变体种类有多种（a. ... ...

Large Language Models Understand and Can be Enhanced by Emotional Stimuli

llm（llm）越来越被视为迈向通用人工智能的一步，在众多任务中表现出令人印象深刻的表现，llm是否能够真正掌握心理情感刺激仍然不确定。理解和回应情绪暗示使人类在解决问题方面具有明显的优势... ...

PPNet: A Novel Neural Network Structure for End-to-End Near-Optimal Path Planning

经典的路径规划器，例如基于采样的路径规划器，具有对初始解敏感且收敛到最优解缓慢的局限性。然而，在许多应用中，例如功率/燃料有限的自动驾驶汽车，在短时间内找到接近最佳的解决方案具有挑战性。为了实现端到端的近最优路径规划器，我们首先将路径规划问题分为两个子问题，即路径的空间分割和给定路径空间中的路点生成 ...

Learning Hidden Unit Contributions for Unsupervised Acoustic Model Adaptation

最近的工作通过学习隐藏单元贡献（LHUC）对神经网络声学模型的适应进行了广泛的研究，这是一种使用大规模无监督适应依赖于说话者或环境的方式线性重新组合隐藏单元的方法数据我们修复了LHUC重建说话人自适应训练（SAT）框架，从而产生更强大的特征的DNN声学模型，以说话人相关和说话人无关的方式工作，无需维护辅助说话人提取器或对DNN结构引入与说话人相关的重大变化。通过对由 270 名测试说话者组成的四种不同语音识别基准（TED 演讲、Switchboard、AMI 会议和 Aurora4）进行的一系列实验，我们表明 LHUC 在其仅测试中变体和SAT变体中均能实现一致的单词错误率降低，范围从5%到23%相对，具体取决于任务以及训练和测试数据之间的不匹配程度... ...

PPM : A Pre-trained Plug-in Model for Click-through Rate Prediction

（CTR）（iDRec）依靠唯一的身份来表示不同的用户和项目，这种方法已经流行了几十年。一方面，iDrec经常面临冷启动问题导致的性能显着下降；另一方面，由于迭代效率的限制，IDREC无法使用更长的训练数据... ...

GateNet: Gating-Enhanced Deep Network for Click-Through Rate Prediction

广告和 Feed 排名对于 Facebook 等许多互联网公司来说至关重要。在许多现实世界的广告和 Feed 排名系统中，点击率 (CTR) 预测发挥了核心作用。近年来，许多基于神经网络的 CTR 模型被提出并取得了成功，例如细胞因子支持的神经网络、DeepFM和xDeepFM ... ...

Training language models to follow instructions with human feedback

让语言模型变得更大并不意味着它们本身能够更好地遵循用户的意图。例如，大型语言模型可能会生成不真实、有毒或对用户毫无帮助的输出。换句话说，这些模型各用户意见不一致... ...

Language Models are Few-Shot Learners

最近的工作已经证明，通过对文本大量进行预训练，对特定任务进行可怕的，然后在许多 NLP 任务和基准测试中取得了巨大的成果。虽然在架构中通常与任务无关，但该方法仍然需要针对特定​​任务的数千或数万个示例的数据集进行干预。相比之下，人类通常只需几个例子或简单的指令就可以执行新的语言任务，而当前的 NLP 系统在很大程度上实现这一点仍然难以实现...... ...