SoftMax功能是深度学习中的基本组成部分。这项研究深入研究了SoftMax函数（称为“温度”）中经常被忽视的参数，为图像分类提供了对温度缩放的实际和理论方面的新见解。我们在多个基准数据集上采用卷积神经网络和 Transformer 的经验研究表明，适度的温度通常会带来更好的整体性能 ...

快捷方式学习是指模型在实际任务中采用简单的，不可理的决策规则的现象，从而阻碍了它们的概括和稳健性。近年来，随着大语言模型（LLM）的快速发展，越来越多的研究表明了快捷方式学习对LLM的影响。本文提供了一种新颖的观点，可以回顾有关在文化学习（ICL）中有关快捷方式学习的相关研究 ...

专家（MOE）的混合物由于推理效率的提高，对分布式培训的适应性和模块化而获得了（自我监督学习的突出性）。先前的研究表明，MOE可以通过扩大网络的参数计数而在减少休眠神经元的同时，可以显着提高深度强化学习（DRL）的性能，从而增强了模型的学习能力和处理非平稳性的能力。在这项工作中，我们更多地了解了Moes处理非平稳性并通过多任务培训“放大”非平稳性的MOE的能力，并提供了进一步的证据，表明MOE提高 ...

随着模型大小的增加，深度神经网络在增强学习（RL）中的使用通常会遭受性能降解。尽管专家的软混合物（SoftMoes）最近显示出有望减轻此问题的在线RL，但其有效性背后的原因在很大程度上是未知的。在这项工作中，我们提供了深入的分析，以确定推动这种绩效增长的关键因素 ...

加速的MRI重建过程提出了一个充满挑战的逆问题，这是由于K空间中大量采样的广泛采样。最近，Vision Transformers（VIT）已成为此任务的主流，证明了绩效的实质性改进。但是，仍然存在三个重要问题：（1）VIT难以捕获图像的高频组成部分，从而限制了它们检测本地纹理和边缘信息的能力，从而阻碍了MRI恢复； （2）以前的方法计算相关和无关 Token 中的多头自我注意力（MSA），引入噪声 ...

检索增强生成 (RAG) 系统通过集成外部知识源来增强大型语言模型 (LLM)，从而根据用户需求提供更准确且与上下文相关的响应。然而，现有的 RAG 系统有很大的局限性，包括依赖平面数据表示和上下文意识不足，这可能导致答案支离破碎，无法捕获复杂的相互依赖关系。为了应对这些挑战，我们提出了 LightRAG，它将图结构合并到文本索引和检索过程中 ...

为了解决推荐系统（RSS）中长期存在的数据稀疏问题，已提出了跨域建议（CDR），以利用来自富裕领域的相对较丰富的信息来提高稀疏域中的建议性能。尽管近年来对CDR进行了广泛的研究，但缺乏对现有CDR方法的系统评价。为了填补这一空白，在本文中，我们对现有的CDR方法进行了全面审查，包括挑战，研究进度和未来的方向 ...

我们解决了为多模式分类问题找到良好体系结构的问题。我们提出了一个新颖而通用的搜索空间，该空间涵盖了许多可能的融合体系结构。为了在提出的搜索空间中找到给定数据集的最佳体系结构，我们利用为问题量身定制的有效基于顺序模型的探索方法 ...