意图分类和槽填充是自然语言理解的两个基本任务。它们经常受到小规模人工标记数据训练的影响，导致泛化能力下降，尤其是对于稀有词。最近，一种新的语言表示模型 BERT （来自 Transformers 的结构编码器表示）有助于在大规模未标记语料库上预训练结构表示，并为各种自然语言处理任务创建了最先进的模型经过简单的地形后... ... ...

基于 Transformer 的模型的最新进展引起了人们对在医学图像分割中探索这些技术的关注，特别是与 U-Net 模型（或其变体）结合使用，该模型在 2D 和 3D 设置下的医学图像分割中取得了巨大成功。当前基于 2D 的方法要么直接用纯 Transformer 替换卷积层，要么将 Transformer 视为 U-Net 编码器和解码器之间的附加中间编码器。然而，这些方法仅考虑单个切片内的注意 ...

图结构数据深度神经网络的最新进展已经在推荐系统基准测试中实现了最先进的性能。然而，使这些方法实用并可扩展到涉及数十亿个项目和数亿用户的网络规模推荐任务仍然是一个挑战。在这里，我们描述了我们在 Pinterest 开发和部署的大规模深度推荐引擎 ...

在展示广告中，预测转化率，即用户在广告商的网站上采取预定义操作（例如购买商品）的概率，对于评估展示广告的价值至关重要。然而，点击和最终转化之间存在相对较长的时间延迟。由于反馈延迟，训练期间的一些正面实例被标记为负面，因为在收集训练数据时尚未发生一些转换 ...

Transformer 在计算机视觉任务中表现出了巨大的潜力。人们普遍认为，基于注意力的 Token 混合器模块对他们的能力贡献最大。然而，最近的工作表明 Transformers 中基于注意力的模块可以被空间 MLP 取代，并且所得模型仍然表现良好 ...

准确估算点击后转化率 (CVR) 在电子商务中至关重要。然而，CVR预测在实践中通常面临三大挑战：i）数据稀疏性：与曝光量相比，转化样本往往极其稀缺； ii) 样本选择偏差：传统的 CVR 模型使用点击印象进行训练，同时对所有印象的整个空间进行推断； iii）延迟反馈：许多转化只有在点击发生后经过相对较长且随机的延迟才能观察到，导致训练期间出现许多假阴性标签。以往的研究主要集中于一两个问题，而忽略 ...

由于这些环境固有的不确定性和复杂性，基于 LLM 的自主代理通常无法执行需要动态交互的复杂 Web 任务。现有的基于 LLM 的网络代理通常依赖于针对某些状态和操作的严格的、专家设计的策略，这些策略缺乏适应看不见的任务所需的灵活性和通用性。相比之下，人类通过探索未知、不断调整策略以及通过探索解决歧义而表现出色 ...

语言代理建立在语言模型 (LM) 之上，是可以与复杂环境（例如开放网络）交互的系统。在这项工作中，我们检查这些代理是否可以在网络上执行现实且耗时的任务，例如 ...