Image Corruption-Inspired Membership Inference Attacks against Large Vision-Language Models

大型视觉模型（LVLM）在许多下游任务中表现出出色的表现。但是，LVLM在大规模数据集上进行了培训，如果培训图像包含敏感信息，则可能会构成隐私风险。因此，重要的是要检测是否使用图像来训练LVLM ...

Leaner Training, Lower Leakage: Revisiting Memorization in LLM Fine-Tuning with LoRA

大型语言模型（LLMS）中的记忆使它们容易受到数据提取攻击的影响。虽然对训练的记忆进行了广泛的研究，但较少的作品探索了其在微调中的影响，尤其是对于洛拉微调，这是一种广泛采用的参数有效方法。在这项工作中，我们在微调中重新检查了记忆，并发现了与不同微调策略的先前发现的令人惊讶的分歧 ...

LoRA-Leak: Membership Inference Attacks Against LoRA Fine-tuned Language Models

语言模型（LMS）通常遵守“预训练和微调”范式，在该范式上可以微调通用的预训练模型以迎合各种专业领域。低级适应性（LORA）由于其轻巧的计算成本和出色的性能，在LM微调中获得了最广泛的用途。由于洛拉（Lora）调谐的参数的比例相对较小，因此可能会有一种误导的印象，即Lora微调数据对会员推理攻击（MIAS）无力 ...

Evaluating the Defense Potential of Machine Unlearning against Membership Inference Attacks

会员推理攻击（MIAS）构成了显着的隐私风险，因为它们使对手能够确定模型的培训数据集中是否包含特定的数据点。虽然机器未学习的主要目的是作为隐私机制设计，可以从机器学习模型中有效地删除私人数据而无需进行完全重新培训，但其对模型对MIA的敏感性的影响仍然是一个空旷的问题。在这项研究中，我们在应用最先进的机器学习算法后系统地评估了模型对MIA的脆弱性 ...

FedTGP: Trainable Global Prototypes with Adaptive-Margin-Enhanced Contrastive Learning for Data and Model Heterogeneity in Federated Learning

最近，由于支持异质模型和数据的能力，异质联邦学习（HTFL）引起了人们的关注。为了降低传输模型参数的高沟通成本，HTFL的主要挑战，提出了基于原型的HTFL方法，以完全共享类代表，A.K. ...

FedCLIP: Fast Generalization and Personalization for CLIP in Federated Learning

近年来，Federated学习（FL）已成为保护隐私计算的新范式。不幸的是，佛罗里达州面临两个关键挑战，阻碍了其实际绩效：数据分配异质性和大型基础模型带来的高资源成本。具体而言，不同客户端的非IID数据使现有的FL算法难以收敛，而高资源成本（包括计算和通信成本）增加了现实世界中的部署困难 ...

CLIP-guided Federated Learning on Heterogeneous and Long-Tailed Data

联合学习（FL）提供了一个分散的机器学习范式，服务器与一组客户端合作以学习全局模型而无需访问客户端的数据。用户异质性是FL的重大挑战，与班级分布不平衡一起进一步增强了FL的难度。在大型视觉语言模型中取得了巨大进展，例如对比的语言图像预训练（剪辑），该模型为图像分类和对象识别铺平了新的方式 ...

FedDAT: An Approach for Foundation Model Finetuning in Multi-Modal Heterogeneous Federated Learning

最近，基础模型在多模式学习方面取得了显着进步。这些模型配备了数百万（或数十亿）参数，通常需要大量的数据以进行填充。但是，由于独特的隐私法规，从不同部门收集和集中培训数据变得具有挑战性 ...

Balancing Similarity and Complementarity for Federated Learning

在移动和物联网系统中，联合学习（FL）对于在维护用户隐私的同时有效地使用数据越来越重要。 FL中的一个主要挑战是管理统计异质性，例如非i.i ...

QDyLoRA: Quantized Dynamic Low-Rank Adaptation for Efficient Large Language Model Tuning

大型语言模型需要大量的GPU内存，从而限制了选择大型模型的选择。虽然名为Qlora的低级适应技术的量化版本大大减轻了这个问题，但发现有效的洛拉等级仍然具有挑战性。此外，Qlora接受了预定义的等级的培训，因此，在不需要进一步的微调步骤的情况下，无法重新配置其较低的等级 ...