随着推理量表到多节点部署，分类 - 将推理分为不同的阶段 - 为改善吞吐量相互作用帕累托边境提供了有希望的途径。尽管热情越来越多，开源努力激增，但由于优化搜索空间和系统级协调的复杂性，实际部署分解的服务仍然有限。在本文中，我们介绍了对大规模推断的分类推理的首次系统研究，评估了数十万个不同工作负载和硬件配置的设计点 ...

大型语言模型（LLM）已彻底改变了应用程序，例如代码完成，聊天机器人和在线分类。为了提升用户体验，服务水平目标（SLO）是评估推理服务功能的关键基准。在实践中，推理服务处理多种类型的任务，每个任务都有自己独特的SLO ...

大型语言模型（LLM）基于多代理系统（MAS）的兴起引入了新的安全性和可靠性挑战。尽管这些系统在分解和协调复杂的任务方面表现出巨大的希望，但它们在及时操作，不安全的工具使用情况和新兴代理商误差方面也面临多方面的风险。现有的护栏机制仅提供部分保护，主要是在投入输出级别，而在MAS中解决系统性或多点故障时缺乏 ...

多代理AI系统（MAS）为分布式智能提供了有希望的框架，从而使自治代理之间的协作推理，计划和决策能够。本文为MAS的当前机遇和挑战提供了系统的前景，从大型语言模型（LLMS）的最新进展，联合优化和人类互动中获得了见解。我们将关键概念形式化，包括代理拓扑，协调协议和共享目标，并确定诸如依赖性，未对准和漏洞诸如培训数据重叠引起的脆弱性 ...

知识蒸馏（KD）是一种有效的培训策略，可在繁琐的教师的指导下改善轻量级学生模型。但是，整个教师对的较大建筑差异限制了蒸馏的增长。与以前的自适应蒸馏方法相反，我们探索了一个新颖的无培训框架，以寻找给定教师的最佳学生体系结构 ...

离散的音频 Token 是紧凑的表示形式，旨在保留感知质量，语音内容和说话者特征，同时实现有效的存储和推理，以及在下游多样的下游竞争性能，这为连续特征提供了一种实践替代方案，从而使语音和音频集成到现代大型语言模型（LLMS）。随着对基于 Token 的音频处理的兴趣的增长，已经出现了各种 Token 化方法，并且几项调查审查了该领域的最新进展。但是，现有的研究通常集中在特定领域或任务上，并且缺乏各 ...

专家（MOE）模型的混合物已通过有效分发计算和增强性能来成为大规模深度学习的基石。但是，它们的独特体系结构通过稀疏的专家激活和动态路由机制引入了引入固有的复杂性，这些复杂性挑战了常规量化技术。现有的训练后量化（PTQ）方法难以解决激活异常值，路由器一致性和稀疏专家校准，从而导致绩效降低 ...

大型语言模型（LLMS）迅速发展成为自主代理，这些代理商跨组织边界合作，实现共同的灾难响应，供应链优化以及其他需要分散专业知识而无需交出数据所有权的任务。然而，跨域协作破坏了当前一致性和遏制技术背后的统一信任假设。孤立的代理商良性可能会在接收不信任的同伴，泄漏秘密或违反政策时，产生由新兴的多代理动力学而不是经典软件错误驱动的风险 ...