Self-Correcting Decoding with Generative Feedback for Mitigating Hallucinations in Large Vision-Language Models

尽管最近的大型视力模型（LVLM）在多模式任务中表现出了显着的性能，但它们很容易产生幻觉文本响应，这些响应与给定的视觉输入不符，这限制了它们在现实世界中的实际适用性。在这项工作中，受到观察的启发，即文本对图像生成过程是LVLMS中图像条件的响应生成的倒数，我们探讨了利用文本对图像生成模型的潜力，以帮助减轻LVLMS中的幻觉。我们发现，生成模型可以提供有价值的自我反馈，以减轻响应和 Token 水平的幻觉 ...

Unified Multimodal Chain-of-Thought Reward Model through Reinforcement Fine-Tuning

多模式奖励模型（RMS）的最新进展在提供奖励信号以使视力模型与人类偏好相结合时表现出了巨大的希望。但是，当前的RMS通常仅限于提供直接响应或参与深度有限的浅水推理过程，通常导致奖励信号不准确。我们认为，将明确的思想链（COT）纳入奖励推理过程可以显着增强其可靠性和鲁棒性 ...

Communication-Efficient Federated Learning via Optimal Client Sampling

联合学习（FL）可以在中央服务器协调从许多客户分配的数据中进行学习的设置中的隐私问题。客户在本地培训并将他们学习的模型传达给服务器；本地模型的聚合需要频繁地在客户端和中央服务器之间进行大量信息。我们提出了一种新颖，简单有效的方式，可以根据来自客户的收集模型的收集模型，以提供信息丰富的更新并估算未传达的本地更新 ...

CP-AgentNet: Autonomous and Explainable Communication Protocol Design Using Generative Agents

尽管DRL（深度强化学习）已成为比现有手工制作的通信协议做出更好决策的强大工具，但它面临着重大局限性：1）选择适当的神经网络体系结构并设置超参数对于达到所需的性能水平至关重要，需要域名专业化。 2）DRL模型中的决策过程通常是不透明的，通常被描述为“黑匣子”。 3）DRL模型是饥饿的数据 ...

FedCompass: Efficient Cross-Silo Federated Learning on Heterogeneous Client Devices using a Computing Power Aware Scheduler

Cross-Silo Federated学习提供了一种有希望的解决方案，可以协作培训强大的AI模型，而不会损害本地数据集的隐私，例如医疗保健，财务状况以及缺乏集中数据设施的科学项目 ...

FedCod: An Efficient Communication Protocol for Cross-Silo Federated Learning with Coding

Federated Learning（FL）是一种创新的分布式机器学习范式，使多方能够在不共享其原始数据的情况下协作训练模型，从而保留数据隐私。交流效率涉及跨索洛FL的问题，特别是由于网络异质性和与地理分布的筒仓相关的波动。这些问题的大多数解决方案都集中在改变FL算法但牺牲培训性能的算法改进上 ...

Selective Aggregation for Low-Rank Adaptation in Federated Learning

我们通过对学习的$ a $ a $ a $ $ b $矩阵的不对称分析的镜头进行联合学习的洛拉。为此，我们发现$ A $矩阵负责学习通用知识，而$ b $矩阵专注于捕获特定于客户的知识。基于这一发现，我们介绍了联合Share-a-a-Rank Apaptation（FEDSA-LORA），该改编（FEDSA-LORA）使用两个低级别训练的矩阵$ a $ a $ a $ and $ b $来对重量更新进行建模，但只有$ a $ a $矩阵与服务器共享用于聚合 ...

BeamLoRA: Beam-Constraint Low-Rank Adaptation

由于对大型语言模型有效进行微调的需求，低级适应（Lora）已被广泛用作最有效的参数有效的微调方法之一。然而，尽管洛拉提高了效率，但准确性仍然可以提高。在此，我们采用了一种新颖的观点来评估洛拉等级的特征 ...

Communication-Efficient Wireless Federated Fine-Tuning for Large-Scale AI Models

基于 Transformer 的大型语言模型（LLM）在各种任务中取得了巨大的成功。然而，由于资源限制和沟通开销，对联合学习（FL）设置中的这种大规模模型（FL）设置中的微调构成了重大挑战。低级适应性（LORA）通过训练紧凑，低级矩阵而不是完全微调的大型模型来解决这些问题 ...

Fine-Tuning and Deploying Large Language Models Over Edges: Issues and Approaches

自2019年GPT2--1.5B发明以来，大型语言模型（LLM）已从专用模型转变为多功能基础模型。但是，LLM表现出令人印象深刻的零射击能力，需要对本地数据集进行微调和大量的部署资源 ...