大型语言模型（LLM）显示出在解决数学推理问题方面的能力增加。但是，在中间推理步骤中，许多开源LLM仍在计算和语义理解方面的错误中困难。在这项工作中，我们介绍了一个简单而有效的框架，该框架利用自然语言解决方案派生的翻译程序作为验证机制，以在汇总最终答案之前过滤掉潜在的不正确的推理路径 ...

尽管大型语言模型（LLM）在软件工程任务（例如代码完成和生成）中表现出了希望，但它们对维护复杂软件系统的支持仍然有限。这些模型通常在理解系统中嵌入的默认知识（例如跨不同模块的责任分配和协作）方面困难。为了解决这一差距，我们介绍了\ textbf {代码数字twin}的概念和框架，这是一种隐性知识的概念表示，捕获了代码元素背后的概念，功能和设计理由，并与软件共同发展 ...

随着大型语言模型（LLM）继续发展，可靠的评估方法是至关重要的，特别是对于开放式，指导遵循的任务。 LLM-AS-A-Gudge可以使用LLMS作为评估者进行自动评估，但其可靠性仍然不确定。在这项工作中，我们分析了影响其可信度的关键因素，重点是与人类判断和评估一致性保持一致 ...

大型语言模型（LLM）引起了广泛的关注，并在广泛的应用中表现出了令人印象深刻的功能。但是，由于其巨大的计算成本，LLM的部署和应用通常受到严重限制。为了解决此问题，结构化修剪是压缩LLMS参数的有效解决方案 ...

无训练的神经体系结构搜索（NAS）有效地使用零成本（ZC）代理来识别高性能的神经网络。与多拍和单发NAS方法不同，ZC-NAS都是（i）及时的，消除了对模型训练的需求，并且（ii）可解释的，理论上经常基于代理设计。尽管该领域有快速的发展，但当前的SOTA ZC代理通常被限制在建立良好的卷积搜索空间上 ...

通过增强学习（RL）培训大型语言模型，以实现可验证的奖励，可以显着提高其推理能力，但由于效率低下的均匀及时采样，因此在计算上仍然昂贵。我们介绍了选择性提示，并有效地估计了难度（速度），这是一种自适应在线RL课程，有选择地选择中级难度的培训示例以最大程度地提高学习效率。从理论上讲，我们确定中等缺陷的提示可以改善梯度估计器的信噪比，加速收敛 ...

联合学习（FL）允许多个数据所有者通过交换本地梯度来协作训练机器学习模型，同时将其私人数据保持在设备上。为了同时提高隐私和训练效率，最近对大规模预处理模型的参数有效的微调（PEFT）在FL中引起了很大的关注。在保留验证的（骨干）模型的同时，每个用户仅用于结合使用的几个轻量级模块，以适合特定的下游应用程序 ...

由大型语言模型驱动的智能体的开创性进步强调了多智能体协作的设计模式，表明集体智慧可以超越每个个体的能力。受神经尺度定律的启发，该定律认为增加神经元会带来涌现的能力，本研究调查了类似的原理是否适用于增加多智能体协作中的智能体。从技术上讲，我们提出了多智能体协作网络（MacNet），它利用有向无环图来组织智能体，并通过拓扑排序简化它们的交互推理，并从它们的对话中得出解决方案 ...