本文研究了从预先训练的模型,尤其是蒙面自动编码器中提取知识的潜力。我们的方法很简单:除了优化掩盖输入上的像素重建损失外,我们还将教师模型的中间特征图与学生模型的中间特征图之间的距离最小化。该设计导致一个计算高效的知识蒸馏框架,给定1)仅使用一个少量可见的贴片子集,2)(繁琐的)教师模型仅需要部分执行,即在前几层中向前传播输入,以获取中间标志 ...
单域广义对象检测〜(S-DGOD)旨在通过利用对象检测器来训练单个源域,以在各种看不见的目标域进行稳健性能。现有的S-DGOD方法通常依赖于数据增强策略,包括视觉转化的组成,以增强检测器的概括能力。但是,缺乏现实世界的先验知识阻碍了数据的增强因培训数据分布的多样性的贡献 ...
Internet使用率的增长促成了大量连续可用的数据,并创造了对数据的自动和高效组织的需求。在这种情况下,文本聚类技术很重要,因为它们旨在根据文档的特征来组织文档。更具体地说,层次和增量聚类技术可以以层次形式组织动态数据,从而确保该组织已更新并促进其探索 ...
实体表示在涉及实体的自然语言任务中很有用。在本文中,我们提出了基于双向 Transformer 的单词和实体的新预验证的情境化表示。所提出的模型将给定文本中的单词和实体视为独立的 Token ,并输出其上下文化表示 ...
在本文中,我们解决了3D高斯分裂(3DGS)中自适应密度控制(ADC)的局限性,这是一种实现高质量的,具有新颖视图综合的影视结果的场景表示方法。已经引入了ADC,以用于自动3D点原始管理,以控制致密和修剪,但是在致密逻辑中具有一定的局限性。我们的主要贡献是一种更有原则的,更有原则的像素 - 错误驱动的公式,用于3DGS中的密度控制,利用辅助,每个像素误差函数作为致密性的标准 ...
大型语言模型(LLMS)已显示出在其产生的内容中表现出各种偏见和刻板印象。尽管广泛的研究调查了LLMS的偏见,但先前的工作主要集中在明确的偏见上,这使更细微的隐式偏见在很大程度上没有探索。本文提出了一个基于社会心理学理论的系统框架,以调查和比较LLMS中的明确和隐性偏见 ...
大型语言模型(LLMS)的预训练数据检测问题由于其对诸如侵犯版权和测试数据污染等关键问题的影响而受到了越来越多的关注。当前的最新方法Min-K%测量了我们认为的原始 Token 概率,这可能不是最有用的信号。取而代之的是,我们提出了Min-k%++以在整个词汇量中使用分类分布的统计数据使 Token 概率正常化,这与词汇中的其他候选人 Token 相比,这准确反映了目标 Token 的相对可能性 ...
词汇色调在中藏语中起着至关重要的作用。但是,当前的语音现场工作依赖于手动努力,从而带来了大量时间和经济成本。对于迅速消失的众多濒临灭绝的语言而言,这尤其具有挑战性 ...