由于大量的计算开销和内存需求，在边缘设备上部署大型语言模型 (LLM) 面临着巨大的挑战。激活稀疏化可以通过减少推理过程中激活的神经元的数量来缓解这些挑战。现有方法通常采用基于激活张量统计的基于阈值的稀疏化 ...

最先进的检索模型通常解决简单的搜索场景，其中检索任务是固定的（例如，找到回答特定问题的段落），并且查询和检索结果仅支持单一模式 ...

大型语言模型 (LLM) 的最新进展在广泛的任务中表现出了卓越的性能，引起了人们对其在推荐系统中的应用的浓厚兴趣。然而，现有的方法尚未充分发挥 LLM 的潜力，通常受到有限的输入信息的限制或未能充分利用其先进的推理能力。为了解决这些限制，我们引入了 EXP3RT，这是一种基于 LLM 的新型推荐器，旨在利用用户和项目评论中包含的丰富偏好信息 ...

大型语言模型（LLM）的快速发展显着增强了语言理解和发电的能力。但是，实质性的模型大小构成了硬件挑战，影响了 Token 生成的服务记忆尺寸和推理潜伏期。为了应对这些挑战，我们提出了依赖感知的半结构稀疏性（DASS），这是一种新的基于Swiglu的LLMS修剪的新方法 ...

大型语言模型（LLM）的高计算成本通过量化，稀疏或结构化修剪等方法导致了对LLM压缩的一系列研究。 \ emph {动态，非均匀}压缩方法给出了该区域中的新边界，该方法调整了压缩水平（例如， ...

在政策学习过程中，不同的原始行为的不同意义已被先前的无模型RL算法忽略了。利用这种见解，我们探讨了不同的作用维度和奖励之间的因果关系，以评估训练过程中各种原始行为的重要性。我们引入了因果关系感知的熵术语，该术语有效地识别并优先考虑具有高潜在影响的有效探索的行动 ...

在本文中，我们介绍了一种新型的体系结构，用于有条件地激活的神经网络，结合了多种专家（MOE）层的层次结构和采样机制，该机制逐渐收敛到优化的专家激活配置。该方法可以使网络体系结构的动态展开，从而促进有效的特定路径训练。实验结果表明，与常规基线相比，这种方法可以达到竞争精度，同时显着降低了推论所需的参数计数 ...

虽然多普勒弹性互补波形先前被认为是在雷达系统中感兴趣的多普勒间隔内抑制范围旁b，但其多普勒弹性的能力尚未得到充分利用。在本文中，提出了基于无效空间的多普勒弹性互补波形的新结构。有了这种新结构，可以灵活地包含感兴趣的指定多普勒间隔，甚至可以将整体多普勒间隔置于一个术语中，从而导致范围 ...