线性 Transformer 已成为标准 Transformer 的有效替代方案，但是它们在检索和长篇下说任务中的性能受到限制。为了解决这些局限性，最近的工作探索了两种不同的机制：自适应内存控制的门控和精确内存修改的Delta更新规则。我们观察到这些机制是互补的：门控可以快速记忆擦除，而三角洲规则有助于有针对性的更新 ...
RERANKING模型解决了最终满足用户需求的最终建议列表。尽管现有的解决方案着重于查找近似最佳策略的参数模型，但最近的方法发现，最好生成多个列表来竞争评估人员的``通过''票，在该评估者中，评估人员是准确估计候选人列表的主管。在这项工作中，我们表明我们可以通过多发性框架实现更高效，有效的列表建议，并在两个公共数据集和在线A/B测试上提供经验证据 ...
高质量和多任务唱歌数据集的稀缺性极大地阻碍了多样化的可控和个性化的歌手任务的发展，因为现有的唱歌数据集遭受了低质量，语言和歌手的多样性，缺乏多技术信息和逼真的音乐得分以及较差的任务适合性。为了解决这些问题，我们介绍了Gtsinger，这是一个大型的全球，多技术，免费的，可用的，高质量的唱歌语料库，具有逼真的音乐得分，为所有唱歌任务设计，以及其基准。特别是（1）我们收集80 ...
加速扩散模型采样对于有效的AIGC部署至关重要。尽管基于分布匹配和轨迹匹配的扩散蒸馏方法将采样降低到一步很少，但它们在复杂的任务上却缺乏文本到图像生成等复杂任务。几步生成在速度和质量之间提供了更好的平衡，但是现有的方法面临持续的权衡：分配匹配缺乏灵活性多步抽样，而轨迹匹配通常会产生次优的图像质量 ...
免疫测序和实验技术的最新进展正在生成广泛的T细胞受体（TCR）曲目数据，从而使模型的开发能够预测TCR结合特异性。尽管由于TCR和表位的大量多样性引起了计算挑战，但仍取得了重大进展。本文讨论了为该任务开发的计算模型的演变，重点是机器学习工作，包括早期无监督的聚类方法，监督模型以及蛋白质语言模型（PLMS）的最新应用 ...
Openai的剪辑于2021年初发布，长期以来一直是建立多模式基础模型的视觉编码器的首选。尽管诸如Siglip之类的最新替代方案已经开始挑战这种现状，但据我们所知，没有什么完全开放的：他们的培训数据仍然专有和/或他们的培训食谱尚未发布。本文用OpenVision（一个完全开放的，具有成本效益的视觉编码家族）填补了这一空白，当将Openai剪辑的性能匹配或超过Openai剪辑的性能中时，当整合到Ll ...
审计语言模型涉及在广泛的语料库上进行培训，在该语料库中，数据质量起着关键作用。在这项工作中，我们旨在直接估计在预处理过程中数据的贡献，并以有效的方式选择预处理数据。具体来说，我们从最近的发现中汲取灵感，表明压缩效率（i ...
街道场景的真实感3d重建是开发自动驾驶真实世界模拟器的关键技术。尽管神经辐射场（nerf）对于驾驶场景非常有效，但3d高斯分布（3DGS）由于其更快的速度和更明确的表示而成为一个有前途的方向。然而 ...
