生物神经系统的创建方式与当前的人工神经网络完全不同。尽管在各种不同的领域中具有令人印象深刻的结果,但深度学习通常需要大量的工程工作来设计高性能的神经体系结构。相比之下,生物神经系统是通过动态的自组织过程来生长的 ...
蜂窝自动机长期以来一直因其从简单的本地规则中产生复杂行为的能力而受到庆祝,并具有众所周知的离散模型,例如Conway的生活游戏,可以证明能够获得通用计算。最近的进步已将细胞自动机扩展到连续域,从而提出了这些系统是否保留了通用计算能力的问题。同时,神经细胞自动机已经成为一种强大的范式,其中通过梯度下降学到了规则,而不是手动设计 ...
神经细胞自动机(NCAS)是生物启发的系统,在该系统中,相同的细胞通过反复应用简单的局部规则而自组织形成复杂而相干的模式。 NCA表现出惊人的紧急行为,包括自我再生,对看不见的情况的概括和鲁棒性以及自发运动。尽管它们在质地合成和形态发生方面取得了成功,但NCA仍在很大程度上仅限于低分辨率网格 ...
我们介绍了将一个神经网中存储的信息迅速转移到另一个神经网中的技术。主要目的是加速对明显更大的神经网的训练。在现实世界中,在实验和设计过程中,经常训练许多不同的神经网络 ...
在初次培训之后,我们如何建立能够快速有效地从经验中学习的代理商?在这里,我们从生物学大脑中学习的主要机制中汲取灵感:突触可塑性,通过进化仔细调整以产生有效的终身学习。我们表明,与连接重量一样,可以通过具有HEBBIAN塑料连接的大型(数百万参数)复发网络中的梯度下降来优化可塑性。首先,可以训练具有超过200万参数的经常性塑料网络,以记住和重建新型的高维1000多个像素自然图像的新型,高维的自然图像 ...
动态系统和深度学习的结合已成为一个引起人们极大兴趣的话题。特别是,神经微分方程(NDE)表明神经网络和微分方程是同一枚硬币的两个方程。传统的参数化微分方程是一种特殊情况 ...
通过从问题到答案的结构化解释来阐明推理过程至关重要,因为它可以显着增强提问(QA)系统的可解释性,可追溯性和可信赖性。但是,结构化的解释要求模型执行复杂的结构化推理,这构成了巨大的挑战。大多数现有的方法通过监督学习着重于单步推理,忽略了步骤之间的逻辑依赖性 ...
机器可以思考吗?由于艾伦·图灵(Alan Turing)在1950年提出了这个问题,因此由于缺乏稳固的数学基础,没有人能直接答案。在本文中,我们向这个目标介绍了一个分类框架,并有两个主要结果。首先,我们通过预发进行了对象表示,将自我意识的概念引入了自我意识的绝对类似物,以及其执行和评估的相应算法 ...
这本书是为了帮助学生将量子力学的所有概念转变为具体的计算机表示,这些量子可以在更深层次的水平上构建,评估,分析和希望在更深层次的水平上理解。它是为瑞士巴塞尔大学每年举行的硕士和博士学位演讲而撰写的。目的是给学生提供一种语言,在该语言中可以更详细地谈论量子物理,并以这种语言的流利性开始学生 ...
每个已知的人工深神经网络(DNN)都对应于规范Grothendieck的拓扑中的一个物体。它的学习动态对应于此拓扑中的形态流动。层中的不变结构(例如CNNS或LSTMS)对应于Giraud的堆栈。该不变性应该是对概括属性的原因,即从约束下的学习数据中推断出来 ...