Sigmoid Gating is More Sample Efficient than Softmax Gating in Mixture of Experts

SoftMax门控函数可以说是专家建模的混合物中最受欢迎的选择。尽管在实践中使用了广泛的使用，但软磁门的使用可能会导致专家之间不必要的竞争，这可能会导致代表性崩溃的不良现象，这是由于其固有的结构而导致的。作为响应，最近提出了乙状结肠门控函数作为替代方案，并已在经验上证明可以实现卓越的性能 ...

Multi-Grid Tensorized Fourier Neural Operator for High-Resolution PDEs

到目前为止，在高分辨率下，记忆的复杂性和数据稀缺性已禁止使用部分微分方程（PDE）的学习解决方案操作员。我们通过引入新的数据有效且高度可行的操作员学习方法来解决这些局限性，并以减少的内存要求和更好的概括（称为多一起驱动量化的神经操作员（MG-TFNO））来解决这些局限性。 MG-TFNO通过利用输入域和操作员的参数空间的分解来利用全尺度，现实现象的本地和全局结构来缩放大量分辨率 ...

On understanding and overcoming spectral biases of deep neural network learning methods for solving PDEs

在这篇综述中，我们调查了为了克服对偏微分方程的多频解决方案的深度神经网络学习方法的频谱偏差而开发的最新方法和技术。还讨论了开放问题和未来的研究方向 ...

Multilevel domain decomposition-based architectures for physics-informed neural networks

物理知识的神经网络（PINN）是解决涉及微分方程的问题的有力方法，但他们经常难以解决高频和/或多规模解决方案的问题。有限的基础物理信息神经网络（FBPINNS）通过将它们与重叠的域分解方法结合在一起，从而提高了PINN的性能。在这项工作中，通过在经典的多级Schwarz域分解方法（DDMS）的启发下，通过在其解决方案ANSATZ中添加多个域分解来扩展FBPINN ...

Finite Basis Physics-Informed Neural Networks (FBPINNs): a scalable domain decomposition approach for solving differential equations

最近，物理知识的神经网络（PINN）提供了一个强大的新范式来解决与微分方程有关的问题。与经典的数值方法相比，PINN具有多个优点，例如，它们提供了微分方程的无网格解决方案及其在同一优化问题中进行和反向建模的能力。迄今为止的关键限制是，Pinns一直在努力准确有效地解决大域和/或多尺度解决方案的问题，这对于其实际应用至关重要 ...

Probabilistic partition of unity networks: clustering based deep approximation

已显示统一网络（POU-NET）的分区能够实现PDE的回归和解决方案的代数收敛率，但需要对训练参数进行经验调整。我们用高斯噪声模型丰富了POU-NET，以获得可概率的概括，可与最大似然损失的最小化最小化。最终的体系结构提供了无噪声和嘈杂数据的空间表示，因为高斯混合物具有封闭形式的方差表达式，可提供局部误差的估计器 ...

Partition of unity networks: deep hp-approximation

近似理论家通过利用其同时模拟统一和单一分区的能力来建立深层神经网络的最佳最佳近似速率。在此激励的情况下，我们提出了统一网络（POUNETS）的分区，将这些元素直接纳入体系结构。用于学习概率度量的类型的分类体系结构用于构建空间的无网格分区，而具有可学习系数的多项式空间与每个分区相关联 ...

Partition of Unity Physics-Informed Neural Networks (POU-PINNs): An Unsupervised Framework for Physics-Informed Domain Decomposition and Mixtures of Experts

物理知识的神经网络（PINN）通常通过发现未知物理学来解决不适合的反问题。这项研究提出了一个新颖的无监督学习框架，该框架可以通过特定的治理物理学识别空间子域。它使用Unity网络（POU）的分区将空间分为子域，并将唯一的非线性模型参数分配到每个物理模型中 ...

Robust Mixture-of-Expert Training for Convolutional Neural Networks

专家（MOE）的稀疏门控混合物（MOE）是一种新兴的深层模型架构，已经证明了能够实现高素质和超高效率模型推断的巨大希望。尽管MOE的流行日益增长，但很少的工作还是研究了推进卷积神经网络（CNN）的潜力，尤其是在对抗性鲁棒性的平面上。由于缺乏鲁棒性已成为CNN的主要障碍之一，因此在本文中，我们问：如何对基于CNN的MOE模型进行对抗？我们可以像普通的CNN型号一样坚强地训练它吗？我们的试点研究表明，常规的对抗训练（AT）机制（为香草CNN开发）不再有效地鲁棒性MOE-CNN ...

Towards Understanding Mixture of Experts in Deep Learning

专家（MOE）层的混合物是由路由器控制的稀疏激活模型，在深度学习方面取得了巨大的成功。但是，对这种建筑的理解仍然难以捉摸。在本文中，我们正式研究MOE层如何改善神经网络学习的性能以及为什么混合模型不会崩溃成单个模型 ...