图形神经网络(GNN)在各种与图形相关的任务上非常有效。但是,它们缺乏解释性和透明度。当前的解释性方法通常是局部的,并且将GNN视为黑盒。他们不在模型内部看,抑制了人类对模型和解释的信任 ...
乘法是现代神经网络(NN)计算中的核心操作,对能源消耗产生了重大贡献。线性复杂性乘法(L-MUL)算法被专门作为新兴NN模型(例如大语言模型(LLM))的近似乘法方法,以降低乘法的能量消耗和计算复杂性。但是,尚未报道针对L-MUL的硬件实施设计 ...
如今,数据由向量表示。在数百万和数十亿中,检索与给定查询相似的媒介是一个无处不在的问题,被称为相似性搜索,与广泛的应用相关。基于图的指数是目前用于数十亿级相似性搜索的最佳性能技术 ...
这项调查探讨了推理大语言模型(LLMS)的最新进步,该模型旨在模仿“缓慢思考”,这是一个受人类认知启发的推理过程,如卡恩曼的思想中所述,快速而慢。这些模型,例如OpenAI的O1,专注于在复杂任务中动态扩展计算资源,例如数学推理,视觉推理,医学诊断和多代理辩论。我们介绍了推理LLM的发展,并列出了其关键技术 ...
有条件的图像产生因其个性化内容的能力而引起了极大的关注。但是,该领域在开发任务不合时宜,可靠且可解释的评估指标方面面临挑战。本文介绍了Cigeval,这是一个统一的代理框架,用于全面评估有条件的图像生成任务 ...
在生成模型中的最新突破,主要扩散模型和整流的流量彻底改变了视觉内容的创造,但是将模型输出与人类偏好保持一致仍然是一个关键的挑战。现有的强化学习(RL)基于视觉生成的方法面临临界局限性:与现代普通微分方程(ODES)基于基于的采样范式的不相容性,大规模培训中的不稳定性以及缺乏视频生成的验证。 This paper introduces DanceGRPO, the first unified fra ...
现代GPU凭借其专门的硬件(如张量核心),对于要求AI和深度学习应用至关重要。这项研究介绍了NVIDIA HOPPER GPU架构的全面,多级微型分析分析,并深入研究了其性能特征和新颖特征。我们基于Hopper的内存子系统延迟和吞吐量,将其L2分区的缓存行为和全局内存访问模式与最近的GPU Generations,Ampere和Ada Lovelace进行了比较 ...
复杂非线性功能的准确近似是许多科学和工程领域的基本挑战。传统的神经网络体系结构,例如多层感知器(MLP),通常很难有效地捕获高维功能中存在的复杂模式和不规则性。本文介绍了Chebyshev Kolmogorov-Arnold网络(Chebyshev Kan),这是一种新的神经网络架构,灵感来自Kolmogorov-Arnold代表定理,并结合了Chebyshev多项式的强大近似功能 ...