大型语言模型是根据大量互联网数据进行训练的,这引发了人们的担忧和猜测,即他们已经记住了公共基准。从推测到具有挑战性的污染证明,因为模型模型使用的预训练数据通常无法实现公开访问。我们证明,需要访问预训练数据或模型权重,就可以为语言模型中的测试集污染提供可证明的保证... ...
训练集的质量和大小对基于深度学习的人脸相关任务的结果有很大影响。然而,收集和标记足够的高质量且均衡分布的样本仍然是一项费力且昂贵的工作,因此各种数据增强技术被广泛用于丰富训练数据集。在本文中,我们从转换类型和方法的角度系统地回顾了人脸数据增强的现有工作,并涉及最先进的方法 ...
近年来,文本属性图(TAG)的表示学习已成为一个关键的研究问题。 TAG 的一个典型示例是论文引用图,其中每篇论文的文本作为节点属性。初始图神经网络(GNN)管道通过将这些文本属性转换为浅层或手工制作的特征(例如skip-gram或词袋特征)来处理这些文本属性 ...
大型视觉语言模型 (LVLM) 为各种视觉语言任务提供了显着的优势。然而,阻碍它们在现实世界场景中应用的一个挑战,特别是在安全性、鲁棒性和可靠性方面,是它们有限的语义基础能力,这涉及将语言与图像中引用的物理世界实体或概念连接起来。因此,迫切需要进行全面的研究来评估广泛使用的 LVLM 的语义基础能力 ...
现有的单模态和多模态显着目标检测(SOD)方法侧重于设计适合各自任务的特定架构。然而,为不同的任务开发完全不同的模型会导致劳动力和时间的消耗,以及高昂的计算和实际部署成本。在本文中,我们尝试在称为 UniSOD 的统一框架中解决单模态和多模态 SOD,该框架充分利用了不同任务之间重叠的先验知识 ...
神经常微分方程描述了值如何随时间变化。这就是为什么它们在连续数据建模中变得重要的原因,特别是当观察间隔不规则时。在本文中,我们提出了一种替代方案,通过使用神经网络直接对解曲线(ODE 的流程)进行建模 ...
大型语言模型 (LLM) 导致借助模型辅助的协作写作激增。由于不同的用户采纳同一模型的建议,因此产生的内容的多样性可能会减少,从而可能限制公共话语中的不同观点。在这项工作中,我们通过一项受控实验来衡量共同写作对多样性的影响,其中用户以三种设置撰写议论文——使用基础 LLM (GPT3)、反馈调整的 LLM (InstructGPT) 和无模型写作帮助 ...
大型语言模型(LLM)的广泛应用,特别是在安全关键领域,需要对 LLM 的对抗鲁棒性进行适当的评估。本文提出了一种有效的工具,通过基于提示的对抗性攻击(PromptAttack)来审计 LLM 的对抗性鲁棒性。 PromptAttack 将对抗性文本攻击转换为攻击提示,可以导致受害者 LLM 输出对抗性样本来欺骗自己 ...