本系统综述探讨了柯尔莫哥洛夫-阿诺德网络 (KAN) 的理论基础、演变、应用和未来潜力,这是一种受柯尔莫哥洛夫-阿诺德表示定理启发的神经网络模型。 KAN 与传统神经网络的区别在于,它使用可学习的样条参数化函数而不是固定的激活函数,从而允许灵活且可解释的高维函数表示。这篇评论详细介绍了 KAN 的架构优势,包括基于边缘的自适应激活函数,可提高时间序列预测、计算生物医学和图学习等应用中的参数效率和可扩展性 ...
我们引入了一类新的时间连续递归神经网络模型。我们不是通过隐式非线性来声明学习系统的动力学,而是构建通过非线性互连门调制的线性一阶动态系统网络。由此产生的模型代表具有变化的动力系统(即 ...
预测响应外部刺激而表现出时空动态的系统的演化是促进科学创新的关键技术。传统的基于方程的方法利用第一原理通过高维微分方程组的数值逼近来产生预测,因此需要大规模并行计算平台并需要大量的计算成本。相反,数据驱动的方法通过利用降维和深度学习算法,能够描述低维潜在空间中的系统演化 ...
捕获多元数据流中复杂的时间模式和关系是一项艰巨的任务。我们提出了时态柯尔莫哥洛夫-阿诺德变换器(TKAT),这是一种新颖的基于注意力的架构,旨在使用时态柯尔莫哥洛夫-阿诺德网络(TKAN)来解决此任务。受时间融合 Transformer (TFT) 的启发,TKAT 作为一种强大的编码器-解码器模型出现,专门用于处理特征中观察到的部分比先验已知部分更重要的任务 ...
柯尔莫哥洛夫-阿诺德网络 (KAN) 作为科学机器学习多层感知器 (MLP) 的替代品最近引起了人们的关注。然而,即使对于相对较小的网络,KAN 的训练成本也可能很高。受有限基物理信息神经网络 (FBPINN) 的启发,在这项工作中,我们开发了一种 KAN 域分解方法,允许并行训练多个小型 KAN,从而为多尺度问题提供准确的解决方案 ...
在许多工程应用中,科学机器学习 (ML) 作为基于物理的数值求解器的经济高效的替代方案正在蓬勃发展。事实上,科学机器学习目前正被用于从高保真数值模拟开始构建准确、高效的替代模型,有效地编码常微分方程 (ODE) 底层的参数化时间动态,甚至偏微分方程底层的时空行为 ( PDE),在适当设计的神经网络中。我们提出了潜在动力学网络 (LDNets) 的扩展,即液体傅立叶 LDNets (LFLDNets),为复杂几何上的多尺度和多物理场高度非线性微分方程组创建参数化时空代理模型 ...
现代数字工程设计通常需要针对不同场景进行昂贵的重复模拟。神经网络 (NN) 的预测能力使其成为提供设计见解的合适替代者。然而,只有少数神经网络能够有效处理复杂的工程场景预测 ...
天气和气候数据通常以有限的时间分辨率提供,这要么是由于存储限制,要么是基于深度学习的天气预报模型本身的长时间步长。粗糙的时间分辨率使得捕捉快速变化的天气事件变得困难。为了解决这个限制,我们引入了一种插值模型,该模型可以重建已知状态的两个时间点之间的大气状态 ...
我们提出了一种基于神经网络的新颖框架,将经典力学重新表述为算子学习问题。机器直接将势函数映射到相空间中相应的轨迹,而无需求解哈密顿方程。最值得注意的是,虽然传统方法倾向于通过迭代时间积分随着时间的推移累积误差,但我们的方法可以防止误差传播 ...
对神经网络更好的预测精度和更高的执行性能的渴望永无止境。神经架构搜索(NAS)和张量编译器是优化这两个目标的两种流行技术,但它们都仅限于组合或优化现有的手动设计的运算符,而不是提出全新的设计。在这项工作中,我们探索了较少研究的神经算子合成方向,其目的是自动有效地发现具有更高准确性和/或速度的新型神经算子 ...