Automatic differentiation in machine learning: a survey

导数，主要以梯度和hessian形式出现，在机器学习中无处不在。自动微分（ad），也称为算法微分或简称为“自动微分”，是一系列类似于反向传播但比反向传播更通用的技术 ...

A JIT Compiler for Neural Network Inference

本文描述了一个 C++ 库，该库在运行时将神经网络模型编译为执行推理的机器代码。这种方法通常有望实现最佳性能，因为它能够将网络的静态已知属性直接集成到代码中。在我们在 NAO V6 平台上的实验中，它在小型网络上显着优于现有的实现，而在大型网络上则较差 ...

Eliciting Human Preferences with Language Models

可以通过使用标记示例或自然语言提示来指导语言模型 (LM) 执行目标任务。但选择示例或编写提示可能具有挑战性，尤其是在涉及不寻常的边缘情况、需要精确表达模糊偏好或需要准确的 LM 行为心理模型的任务中。我们建议使用*LM 本身*来指导任务规范过程 ...

Relational Neural Machines

深度学习已被证明可以在有大量训练数据的多项任务中取得令人印象深刻的结果。然而，深度学习只关注预测的准确性，而忽略了导致决策的推理过程，这是生命攸关的应用中的一个主要问题。概率逻辑推理允许利用统计规律和特定领域的专业知识在不确定性下进行推理，但其可扩展性以及与处理传感数据的层的脆弱集成极大地限制了其应用 ...

Augmenting Neural Networks with First-order Logic

如今，训练神经网络的主要范式涉及最大限度地减少大型数据集上的任务损失。使用世界知识为模型提供信息，同时保留执行端到端训练的能力仍然是一个悬而未决的问题。在本文中，我们提出了一种新颖的框架，用于将声明性知识引入神经网络架构，以指导训练和预测 ...

Learning Distributed Word Representations for Natural Logic Reasoning

自然逻辑提供了强大的关系意义概念，它是分布式语义表示的自然对应物，事实证明分布式语义表示在广泛的复杂语言任务中很有价值。然而，是否有可能训练分布式表示来支持自然逻辑捕获的丰富、多样的逻辑推理，仍然是一个悬而未决的问题。我们使用两种基于神经网络的学习嵌入模型来解决这个问题：普通神经网络和神经张量网络 ...

Integrating Learning and Reasoning with Deep Logic Models

深度学习在联合学习特征表示和分类模型方面非常有效，特别是在处理高维输入模式时。另一方面，概率逻辑推理能够在复杂的环境中做出一致且稳健的决策。深度学习和逻辑推理的集成仍然是一个开放研究问题，被认为是开发真正的智能体的关键 ...

DeepLogic: Towards End-to-End Differentiable Logical Reasoning

将机器学习与基于逻辑的专家系统相结合以充分利用两者的优点正变得越来越流行。然而，机器学习能够在多大程度上学会对基于规则的知识进行推理仍然是一个悬而未决的问题。在本文中，我们探讨了如何使用基于 RNN 的迭代神经网络学习在高维向量空间中表示符号逻辑（定义为字符级别的逻辑程序）以执行推理 ...

Logical Neural Networks

我们提出了一个新颖的框架，无缝地提供神经网络（学习）和符号逻辑（知识和推理）的关键属性。每个神经元都具有作为加权实值逻辑中公式的组成部分的含义，从而产生高度不可解释的解缠结表示。推理是全方位的，而不是专注于预定义的目标变量，并且对应于逻辑推理，包括经典一阶逻辑定理证明作为特例 ...

TensorLog: Deep Learning Meets Probabilistic DBs

我们提出了一种称为 TensorLog 的概率一阶逻辑的实现，其中逻辑查询类被编译为神经网络基础设施（例如 Tensorflow 或 Theano）中的可微函数。这导致了概率逻辑推理与深度学习基础设施的紧密集成：特别是，它使得高性能深度学习框架能够用于调整概率逻辑的参数。实验结果表明，TensorLog 可以扩展到涉及数十万个知识库三元组和数万个示例的问题 ...