钥匙值（KV）缓存已成为一种至关重要的优化技术，用于加速大型语言模型（LLMS）。通过允许注意力运行线性地扩展而不是二次地缩放，KV缓存显着增强了生成吞吐量。但是，由于现代LLM中的上下文长度较大，KV的内存足迹是直接影响模型批次大小的模型部署的巨大瓶颈，阻碍了其提供高通量的能力 ...

发行了一个名为Aishell-1的开源普通话语料库。它是迄今为止最大的语料库，适用于对普通话进行语音识别研究和建立语音识别系统。详细介绍了录制过程，包括捕获设备和环境的音频 ...

视频大语言模型（视频学）已经证明了处理更长的视频输入并实现复杂的推理和分析的能力。但是，由于视频帧的数千个视觉 Token ，键值（KV）缓存可以显着增加内存需求，成为推理速度和内存使用情况的瓶颈。 KV缓存量化是一种解决此问题的广泛使用方法 ...

我们介绍了高斯流，这是一种基于多点的新型方法，用于快速动态场景重建以及来自多视图和单眼视频的实时渲染。与慢速训练和渲染速度阻碍了普遍的基于NERF的方法相反，我们的方法在基于点的3D高斯分裂（3DGS）方面进行了最新进步。具体而言，提出了一种新型的双域变形模型（DDDM），以明确地模型的每个高斯点的属性变形，其中每个属性的时间依赖性残差是由时域中的多项式拟合捕获的，而频域中的傅立叶序列拟合 ...

在统计概率模型中，维度的诅咒是不可避免的挑战，但是扩散模型似乎克服了这一限制，在高维数据生成中取得了令人印象深刻的结果。扩散模型假设他们可以学习潜在概率分布的统计特性，从而使该分布采样以生成逼真的样本。但这真的是他们的工作方式吗？为了解决这个问题，本文对扩散模型的目标函数和推理方法进行了详细的分析，得出了几个重要的结论，有助于回答上述问题：1）在高维稀疏场景中，目标函数的目标是拟合从多个样本的加权 ...

GPT-4，DeepSeek-R1和ReasonFlux等大型语言模型（LLMS）在各种推理任务上显示出显着改善。但是，较小的LLM仍在复杂的数学推理上挣扎，因为它们无法有效地识别和纠正推理错误。最近的基于反射的方法旨在通过实现自我反思和自我纠正来解决这些问题，但它们在其推理步骤中仍然独立地检测错误时仍面临挑战 ...

由于参数数量异常庞大，微调大型语言模型（llm）来更新长尾或过时的知识在许多应用中是不切实际的。为了避免微调，llm 视为黑匣子（即 ... ...

早期患者的肺癌复发率很高。传统上，使用基因组学或放射学图像的单一模态信息来了解肺癌患者的术后复发。我们研究了多模式融合在此任务中的潜力 ...