消息传递图神经网络（GNN）虽然擅长捕获局部关系，但常常难以应对图的远程依赖性。相反，图转换器（GT）允许所有节点之间进行信息交换，但通过将它们视为一组固定长度的向量来过度简化图结构。这项工作提出了一种新颖的架构 NeuralWalker，它通过将随机游走与消息传递相结合来克服这两种方法的局限性 ...
多跳问题回答（MHQA）涉及跨多个文档推理以回答复杂问题。密集的检索器通常通过利用语义嵌入（例如BM25）优于稀疏方法；但是，它们需要标记为查询文件对进行微调。由于在整个推理步骤中查询（重新计算）问题的高度差异，这在MHQA中构成了重大挑战 ...
AI代理商经历了范式的转变，从增强学习（RL）的早期统治到由大语言模型（LLMS）提供支持的代理商的兴起，现在进一步迈向了RL和LLM功能的协同融合。这种进展已使AI代理具有越来越强大的能力。尽管有这些进步，要完成复杂的现实世界任务，需要代理才能有效地计划和执行，保持可靠的内存并与其他代理平稳协调 ...
大型语言模型需要大量的GPU内存，从而限制了选择大型模型的选择。虽然名为Qlora的低级适应技术的量化版本大大减轻了这个问题，但发现有效的洛拉等级仍然具有挑战性。此外，Qlora接受了预定义的等级的培训，因此，在不需要进一步的微调步骤的情况下，无法重新配置其较低的等级 ...
联合的微调（FEDFT）为对隐私敏感的场景提供了微调大语言模型（LLM）的有效范式。但是，由于最终设备的资源有限，实际部署仍然具有挑战性。现有方法通常利用参数有效的微调（PEFT）技术，例如低级适应（LORA），从而大大减少了通信开销 ...
Federated Lora已成为一种有前途的技术，可以通过减少可训练参数的数量来有效地对分布式设备进行大型语言模型（LLM）。但是，现有的方法通常不足以忽视系统和数据异质性的理论和实际含义，从而无法优化整体训练效率，尤其是在墙壁锁定时间方面。在本文中，我们提出了一种自适应联合的洛拉策略，并采用独立的客户抽样，以最大程度地减少在计算和通信异质性下联邦微调的融合壁锁定时间 ...
微调大语言模型（LLMS）在计算上是密集的，因为它需要更新所有参数。低级适应（LORA）通过仅修改一部分权重来提高效率，但引入了表达性和计算成本之间的权衡：较低的排名降低了资源，但限制了表现力，而较高的等级则在增加成本时提高表达能力。尽管自适应洛拉技术最近取得了进步，但现有方法未能提供理论基础来优化模型性能和效率之间的权衡 ...
传统的低级适应（LORA）方法采用固定等级，尽管具有异质学习动力学，但在 Transformer 层和注意力头之间施加了统一的适应性。本文介绍了自适应等级动态洛拉（ARD-lora），这是一个新颖的框架，可通过可学习的缩放系数自动化等级分配。这些因素是通过元观点平衡任务性能和参数效率进行了优化的，并结合了$ \ ell_1 $ sparsity的最低等级和稳定等级转换的总变化正则化 ...
低级适应（LORA）为联合语言模型的经过微调提供了有效的替代方法，可大大降低计算成本。通过调整每个客户端的等级，Federated Lora可以启用灵活的资源分配。但是，我们观察到，客户之间的异质等级导致性能不稳定 ...
长期以来，在古典物理学中，更热的系统比冷却器更快地平衡了MPEMBA效应。在过去的几年中，在理解其在古典和量子系统中的发生时，已经取得了重大的理论和实验进步。在这篇综述中，我们提供了量子系统中MPEMBA效应的简洁概述，重点是开放和孤立的动力学，从而导致这种异常的非平衡现象的明显表现 ...