大型语言模型 (LLM) 越来越多地集成到现实世界的应用程序中，引发了人们对隐私、安全性以及删除不良知识的需求的担忧。机器取消学习已成为一种有前途的解决方案，但面临两个关键挑战：(1) 实际的取消学习需求通常是连续的和异构的，(2) 它们涉及具有不对称访问的去中心化、敏感数据。这些因素导致了域间和域内的干扰，进一步放大了遗忘和保留性能不平衡的困境。作为回应，我们为 LLM 提出了一种可扩展且保护隐私的联合遗忘方法。我们的方法通过特定于任务的适配器学习来解耦遗忘和保留，并采用分层合并策略来减轻目标冲突，并实现强大的、适应性强的遗忘更新。对 WMDP、MUSE 和 TOFU 基准的综合实验表明，与基线方法相比，我们的方法可以有效处理异构遗忘请求，同时保持强大的 LLM 实用性 ...
联邦学习（FL）是一种流行的协作培训范例，它避免了客户端之间的直接数据暴露。然而，数据隐私问题仍然存在：FL 训练的大型语言模型能够记住并完成训练数据中包含的短语和句子（当给出前缀时）。因此，对抗性的和诚实但好奇的客户可以简单地通过有针对性的提示来恢复其他参与者的训练数据。在这项工作中，我们证明了一种流行且简单的微调策略，即低秩适应 (LoRA)，可以将 FL 期间的记忆量减少多达 10 倍。我们通过执行医学问答微调任务并注入从外部临床数据集中提取的分布外敏感序列的多个副本来研究这种效果。我们观察到多种 Llama 2 和 3 模型的记忆量减少，并发现 LoRA 也可以减少集中学习中的记忆量。此外，我们还表明 LoRA 可以与其他隐私保护技术（例如梯度裁剪和高斯噪声、安全聚合和 Goldfish 损失）相结合，以在保持性能的同时进一步提高记录级隐私 ...
由于昏暗的环境和普遍使用长时间曝光，夜间或黑暗条件下的摄影通常会遇到噪点、弱光和模糊问题。尽管去模糊和低光图像增强 (LLIE) 在这些条件下是相关的，但大多数图像恢复方法都是单独解决这些任务的。在本文中，我们提出了一种用于多任务低光图像恢复的高效且鲁棒的神经网络。我们没有遵循当前基于 Transformer 的模型的趋势，而是提出了新的注意力机制来增强高效 CNN 的感受野。与以前的方法相比，我们的方法减少了参数和 MAC 操作方面的计算成本。我们的模型 DarkIR 在流行的 LOLBlur、LOLv2 和 Real-LOLBlur 数据集上取得了最先进的结果，能够概括现实世界的夜间和黑暗图像。此 https URL 中的代码和模型 ...
我们评估了最先进的对象识别模型依赖于图像背景信号的趋势。我们创建了一个工具包来解开 ImageNet 图像上的前景和背景信号，并发现 (a) 模型仅依靠背景就可以实现不平凡的准确度，(b) 即使存在正确分类的前景，模型也经常对图像进行错误分类——在对抗性选择的背景下，高达 87.5% 的时间，以及 (c) 更准确的模型往往更少依赖于背景。我们对背景的分析使我们更接近于理解机器学习模型使用哪些相关性，以及它们如何确定模型的分布性能 ...
最近的法律框架规定了被遗忘权，并要求根据用户请求删除特定数据。通过有选择地从机器学习模型中删除学习到的信息，机器取消学习已成为一种有前景的解决方案。本文介绍了 MUBox，一个旨在评估深度学习中的忘却方法的综合平台。 MUBox 集成了 23 种先进的遗忘技术，并在 6 个实际场景和 11 种不同的评估指标中进行了测试。它允许研究人员和从业者（1）评估和比较不同场景下不同机器遗忘方法的有效性； (2) 检查当前评估指标对忘却绩效的影响； （3）在统一的框架下对机器遗忘进行详细的比较研究。利用 MUBox，我们系统地评估了深度学习中的这些遗忘方法，并揭示了几个关键见解：（a）即使是最先进的遗忘方法，包括在顶级场所发布的遗忘学习方法和遗忘竞赛获胜者的方法，在不同场景中也表现出不一致的有效性。先前的研究主要集中在简化的设置上，例如随机遗忘和按类别遗忘，强调需要对更困难的遗忘任务进行更广泛的评估。 (b) 评估遗忘性能仍然是一个不小的问题，因为没有任何单一的评估指标可以全面捕获模型效用的有效性、效率和保留。我们的研究结果强调了采用多种指标来实现对遗忘方法的平衡和整体评估的必要性。 (c) 在解毒方面，我们的评估显示现有方法的有效性存在显着差异，这在很大程度上取决于中毒攻击的具体类型 ...
大型语言模型通常是根据从网络收集的数据集进行训练的，这些数据集可能会无意中包含有害或敏感的个人信息。为了解决日益增长的隐私问题，人们提出了消除学习方法来消除训练模型中特定数据的影响。其中，精确遗忘（在没有目标数据的情况下从头开始重新训练模型）被广泛认为是减轻部署中隐私风险的黄金标准。在本文中，我们在实际部署环境中重新审视了这一假设，其中公开了学习前和学习后 logits API，例如在开放权重场景中。针对这种设置，我们引入了一种新颖的数据提取攻击，该攻击利用来自学习前模型的信号来指导学习后模型，揭示反映已删除数据分布的模式。将模型指导与 Token 过滤策略相结合，我们的攻击在 MUSE、TOFU 和 WMDP 等常见基准测试中显着提高了提取成功率，在某些情况下性能提高了一倍。此外，我们在模拟医疗诊断数据集上展示了我们的攻击的有效性，以突出与精确遗忘相关的现实世界隐私风险。我们的研究结果表明，遗忘可能会以一种矛盾的方式增加现实世界部署期间隐私泄露的风险，因此我们主张对遗忘方法进行评估，以考虑更广泛的威胁模型，这些模型不仅考虑遗忘后模型，还考虑对先前检查点的对抗性访问。代码可在以下位置公开获取：此 https URL ...
随着对隐私保护、安全性和法律合规性（例如 GDPR）的需求不断增长，机器去学习已成为确保机器学习模型的可控性和监管一致性的关键技术。然而，该领域的一个根本挑战在于有效验证取消学习操作是否已成功且彻底地执行。尽管关于忘却技术的工作越来越多，但验证方法仍然相对未得到充分探索，而且往往是支离破碎的。现有方法缺乏统一的分类法和系统的评估框架。为了弥补这一差距，本文首次对机器去学习验证方法进行了结构化调查。我们提出了一种分类法，根据用于评估遗忘保真度的证据类型，将当前技术分为两个主要类别——行为验证和参数验证。我们检查每个类别中的代表性方法，分析其基本假设、优点和局限性，并识别实际部署中的潜在漏洞。最后，我们阐明了当前验证研究中的一系列开放性问题，旨在为开发更强大、更高效、更有理论基础的无学习验证机制提供基础 ...
机器取消学习是一种新流行的技术，用于从经过训练的模型中删除特定的训练数据，使其能够遵守数据删除请求。它在保护请求取消学习的用户权利的同时，也带来了新的隐私风险。之前的工作主要关注未获悉的数据的隐私，而保留数据的风险在很大程度上仍未被探索。为了解决这一差距，我们关注保留数据的隐私风险，并首次揭示了双视图设置下机器取消学习引入的漏洞，其中对手可以查询原始模型和未学习的模型。从信息论的角度来看，我们引入了“隐私知识增益”的概念，并证明双视图设置允许对手获得比单独查询任一模型更多的信息，从而放大隐私泄露。为了有效地证明这种威胁，我们提出了 DVIA，一种双视图推理攻击，它使用对两个模型的黑盒查询来提取保留数据的成员信息。 DVIA 无需训练攻击模型，并采用轻量级似然比推理模块来实现高效推理。跨不同数据集和模型架构的实验验证了 DVIA 的有效性，并强调了双视图设置中固有的隐私风险 ...
给出一个简单的请求，例如将洗过的苹果放入厨房冰箱中，人类可以通过想象动作序列并对其成功的可能性、原型性和效率进行评分，以纯粹抽象的术语进行推理，而所有这些都无需移动肌肉。一旦我们看到有问题的厨房，我们就可以更新我们的抽象计划以适应场景。实体代理需要相同的能力，但现有的工作尚未提供抽象推理和具体执行所需的基础设施。我们通过引入 ALFWorld 来解决这一限制，该模拟器使代理能够在 TextWorld 中学习基于抽象文本的策略（Côté 等人，2018），然后在丰富的视觉环境中执行 ALFRED 基准（Shridhar 等人，2020）中的目标。 ALFWorld 能够创建一个新的 BUTLER 代理，其在 TextWorld 中学习的抽象知识直接对应于具体的、基于视觉的操作。反过来，正如我们凭经验证明的那样，与仅在视觉基础环境中进行训练相比，这可以促进更好的代理泛化。 BUTLER 简单的模块化设计解决了这个问题，使研究人员能够专注于改进管道的每个部分（语言理解、规划、导航和视觉场景理解）的模型 ...
毫米波 (mmWave) 雷达的最新进展已经证明了其在人类动作识别和姿势估计方面的潜力，与传统摄像头相比具有隐私保护优势，同时保持遮挡鲁棒性，在人机交互和健康护理方面具有广阔的应用前景。然而，现有的毫米波系统通常采用固定位置配置，将用户移动性限制在预定义区域并限制了实际部署场景。我们推出了 mmEgoHand，这是一种用于手部姿势估计的头戴式自我中心系统，支持手势识别、VR 交互、技能数字化和评估以及机器人远程操作等应用。 mmEgoHand 将毫米波雷达与惯性测量单元 (IMU) 协同集成，以实现动态感知。 IMU 主动补偿头部运动引起的雷达干扰，而我们新颖的端到端 Transformer 架构则通过多模态传感器融合同时估计 3D 手部关键点坐标。这种双模态框架实现了毫米波热图与 IMU 的时空对齐，克服了以自我为中心的传感场景中固有的视点不稳定性。我们进一步证明，中间手部姿势表示可以显着提高下游任务的性能，例如 VR 手势识别。对 10 名受试者在站立、坐着、躺着 3 种不同姿势中执行 8 个手势进行的广泛评估实现了 90.8% 的识别准确率，大幅优于最先进的解决方案。数据集和代码可从此 https URL 获取 ...