大型语言模型（llm）的进步因其巨大的规模而受到阻碍，llm压缩方法来进行实际部署。奇异值分解（svd）为llm压缩提供了一种有前景的解决方案。然而，最先进的基于svd llm压缩方法有两个关键限制：截断较小的奇异值可能会导致更高的压缩损失：截断较小的奇异值可能会导致更高的压缩损失，以及svd截断后压缩权重缺乏更新... ...
准确的天气预报对人类活动至关重要。当前，天气预报有两个范例：数值天气预测（NWP）和基于深度学习的预测（DLP）。 NWP利用大气物理学进行天气建模，但数据利用率不佳和高计算成本，而DLP可以直接从大量数据中学习天气模式，但要努力纳入物理定律 ...
无监督的域改编（UDA）旨在利用从标记的源数据集中学到的知识来解决新的未标记域中的类似任务。先前的UDA方法通常需要在学习适应模型时访问源数据，从而使它们具有风险和无效的分散私人数据。这项工作可以解决一个实际的环境，在该设置中，只有一个训练有素的源模型，并研究了我们如何在没有源数据的情况下有效地利用此类模型来解决UDA问题 ...
现代LLM的顺序性质使它们变得昂贵且缓慢，并且投机性抽样已被证明是解决此问题的有效解决方案。诸如Eagle之类的方法在特征级别执行自动降低，重复使用目标模型的顶层特征，以获得比香草投机采样更好的结果。 LLM社区的增长趋势正在扩大培训数据，以改善模型智能而不增加推理成本 ...
NAVCON: A Cognitively Inspired and Linguistically Grounded Corpus for Vision and Language Navigation
我们提出了NAVCON，这是一个大规模注释的视觉导航（VLN）语料库，建立在两个流行数据集（R2R和RXR）之上。本文介绍了四个核心，具有认知动机和语言基础的导航概念和一种算法，用于在导航说明中对这些概念的自然语言实现产生大规模的银注释。我们将带注释的说明与按照这些说明作用的代理商的视频片段相结合 ...
推理语言模型表明，通过“思考更长”来提高测试时间的性能的不可思议的能力，也就是说，通过生成更长的经过思考序列的序列，从而使用更多的计算。但是，他们的经营推理的长度是不可控制的，因此无法分配测试时间计算以达到所需的性能水平。我们介绍了长度受控策略优化（LCPO），这是一种简单的增强学习方法，可优化准确性和遵守用户指定的长度约束 ...
PrivaScissors: Enhance the Privacy of Collaborative Inference through the Lens of Mutual Information
Edge-Cloud协作推断使资源有限的IoT设备能够支持深度学习应用程序，而无需向云服务器披露其原始数据，从而保留隐私。然而，先前的研究表明，协作推断仍然会导致数据和边缘设备的预测暴露。为了增强协作推断的隐私，我们引入了一种称为Privassissors的辩护策略，该策略旨在减少模型的中间结果与设备的数据和预测之间的共同信息 ...
缺乏多样化和高质量的问题，阻碍了传统领域（例如数学和编码）之外的扩展推理功能。为了克服这一限制，我们引入了一种可扩展的方法，用于产生各种各样的挑战性推理问题，并伴随着参考答案。我们提出了自然探测，这是一个包含2的综合数据集 ...
