基本信息

多智能体强化学习（MARL）通常依赖于\emph{参数共享（PS）}来有效扩展。然而，纯粹的共享策略可能会抑制每个代理的独特专业化，从而降低异构环境中的整体性能。我们提出了 \textbf{低阶代理特定适应（LoRASA）}，这是一种新颖的方法，它将每个代理的策略视为从共享主干进行微调的专门“任务”。受参数高效传输方法的启发，LoRASA 将小型、低秩的适应矩阵附加到共享策略的每一层，自然地引入\emph{参数空间稀疏性}，从而促进专业化和可扩展性。我们在具有挑战性的基准上评估 LoR​​ASA，包括星际争霸多智能体挑战赛 (SMAC) 和多智能体 MuJoCo (MAMuJoCo)，并在广泛使用的算法（例如 MAPPO 和 A2PO）上实现它。在不同的任务中，LoRASA 匹配或优于现有基线 \emph{同时减少内存和计算开销}。对适配器等级、布局和时序的消融研究验证了该方法的灵活性和效率。我们的结果表明 LoRASA 有潜力为 MARL 策略参数化建立新规范：将协调的共享基础与针对个体专业化的低级代理特定细化相结合 ...