激活稀疏性是指激活输出中存在相当多的贡献元素。作为使用ReLU激活函数的模型的通用属性，激活稀疏性已被证明是提高模型推理效率的有前景的范例。然而，大多数大型语言模型（LLM）采用没有内部激活稀疏性的激活函数（例如... ...
近年来，大型语言模型 (LLM) 在各种以文本为中心的任务中表现出了卓越的能力。然而，它们的“大”规模带来了巨大的计算和存储挑战，特别是在管理 Transformer 的键值状态方面，这限制了它们更广泛的适用性。因此，我们建议自适应地从缓存中释放资源并重建必要的键值状态 ...
具有数十亿参数的大型语言模型 (LLM) 引发了新一轮令人兴奋的人工智能应用浪潮。然而，它们在推理过程中的高计算成本和内存需求带来了重大挑战。自适应稀疏激活推理仅激活每个标记的少量神经元，提供了一种在不降低性能的情况下加速模型推理的新颖方法，为资源受限的硬件设备展示了巨大的潜力 ...
稀疏激活在推理中选择性地仅激活一组依赖于输入的神经元，是一种有用的技术，可以降低大型语言模型 (LLM) 的计算成本，而无需重新训练或适应工作。然而，它是否可以应用于最近出现的小语言模型（SLM）仍然值得怀疑，因为 SLM 通常比 LLM 更少过度参数化。在本文中，我们的目标是在 SLM 中实现稀疏激活 ...