现代复发序列模型的重要组成部分是忘记门。虽然 Transformer 没有明确的复发形式,但我们表明,通过以数据依赖性方式将忘记的门自然地纳入变形金刚中。我们将这种注意机制命名为忘记关注和由此产生的模型遗忘 Transformer (FOX) ...
对手可以通过将后门毒药样本引入培训数据集中,将后门嵌入深度学习模型中。在这项工作中,我们研究了如何检测这种毒药样本以减轻后门攻击的威胁。首先,我们发现了大多数先前工作后的事后工作流程,后卫被动地允许攻击继续进行,然后利用后攻击模型的特征来揭示毒药样本 ...
训练深度神经网络很复杂,因为在训练过程中,随着前一层参数的变化,每层输入的分布也会发生变化。由于需要较低的学习率和仔细的参数初始化,这会减慢训练速度 ...
尽管当前3D人类姿势估计技术的表现令人鼓舞,但了解和增强其对挑战性野外视频的概括仍然是一个开放的问题。在这项工作中,我们专注于2到3D姿势举升机的鲁棒性。为此,我们开发了两个基准数据集,即Human3 ...
结构重新参数化在各种计算机视觉任务中引起了越来越多的关注。它的目的是在不引入任何推理时间成本的情况下提高深度模型的性能。尽管推理过程高效,但此类模型严重依赖复杂的训练时间块来实现高精度,从而导致大量额外的训练成本... ...
人形机器人由于能够在为人类建立的环境中运行的能力而具有巨大的现实应用程序潜力,但是控制其基本的高维非线性非线性混合动力学的挑战阻碍了它们的部署。虽然杂种线性倒置摆(HLIP)(HLIP)等降低的模型很简单且在计算上有效,但它们会失去全身表现力。同时,接触式模型模型预测控制(CI-MPC)的最新进展使机器人能够通过多种混合接触模式进行计划,但仍然容易受到局部最小值的影响,需要进行大量调整 ...
由于固有的几何模棱两可,在神经辐射场中学习精确的场景重建无姿势的研究是具有挑战性的。最近的发展要么依赖于正规化的通讯先验,要么使用现成的流量估计器来得出分析姿势。但是,在统一的神经表示内的共同学习场景几何形状,相机姿势和密集流的潜力仍然在很大程度上没有探索 ...
Does RAG Introduce Unfairness in LLMs? Evaluating Fairness in Retrieval-Augmented Generation Systems
抹布(检索型的一代)最近因其在开放域问答(QA)任务中整合外部知识来源的能力而引起了极大的关注。但是,尚不清楚这些模型如何解决公平关注的问题,尤其是在诸如性别,地理位置和其他人口统计学因素等敏感属性方面。首先,随着语言模型的发展以优先考虑实用程序,例如提高确切的匹配准确性,公平性可能在很大程度上被忽略了 ...