Benchmarking Graph Neural Networks

在过去几年中，图神经网络（GNN）已成为分析图数据和学习图数据的标准工具包。这个新兴领域见证了有前途的技术的广泛发展，这些技术已成功应用于计算机科学、数学、生物学、物理和化学。但任何成功的领域要成为主流且可靠，就必须制定基准来量化进展 ...

GFlowNet Foundations

生成流网络 (GFlowNets) 已被引入作为一种在主动学习环境中对不同候选集进行采样的方法，其训练目标是使它们大致按给定奖励函数的比例进行采样。在本文中，我们展示了 GFlowNet 的许多附加理论特性。它们可用于估计联合概率分布和相应的边际分布，其中某些变量未指定，并且特别有趣的是，它们可以表示复合对象（如集合和图）上的分布 ...

Model evaluation for extreme risks

当前构建通用人工智能系统的方法往往会产生具有有益和有害功能的系统。人工智能开发的进一步进展可能会带来极大风险的能力，例如进攻性网络能力或强大的操纵技能。我们解释了为什么模型评估对于解决极端风险至关重要 ...

Hyena Hierarchy: Towards Larger Convolutional Language Models

深度学习的最新进展在很大程度上依赖于大型 Transformer 的使用，因为它们具有大规模学习的能力。然而，Transformers 的核心构建模块（注意力算子）在序列长度上表现出二次成本，限制了可访问的上下文数量。现有的基于低秩和稀疏近似的次二次方法需要与密集注意力层相结合才能匹配 Transformer，这表明能力上存在差距 ...

Managing AI Risks in an Era of Rapid Progress

在这篇简短的共识文件中，我们概述了即将到来的先进人工智能系统的风险。我们研究大规模的社会危害和恶意使用，以及人类对自主人工智能系统不可逆转的控制丧失。鉴于人工智能的快速和持续进步，我们提出了人工智能研发和治理的紧迫优先事项 ...

Regeneration Learning: A Learning Paradigm for Data Generation

用于条件数据生成的机器学习方法通​​常构建从源条件数据 X 到目标数据 Y 的映射。目标 Y（例如 ...

Graph Attention Networks

我们提出了图注意力网络（GAT），这是一种对图结构数据进行操作的新型神经网络架构，利用屏蔽自注意力层来解决基于图卷积或其近似的现有方法的缺点。通过堆叠节点能够参与其邻域特征的层，我们可以（隐式）为邻域中的不同节点指定不同的权重，而不需要任何类型的昂贵的矩阵运算（例如求逆）或依赖于对图的了解结构预先。通过这种方式，我们同时解决了基于谱的图神经网络的几个关键挑战，并使我们的模型易于适用于归纳和传导问题 ...

Learning Phrase Representations using RNN Encoder-Decoder for Statistical Machine Translation

在本文中，我们提出了一种称为 RNN 编码器-解码器的新型神经网络模型，它由两个递归神经网络 (RNN) 组成。一个 RNN 将符号序列编码为固定长度的向量表示，另一个 RNN 将表示解码为另一个符号序列。所提出模型的编码器和解码器被联合训练，以最大化给定源序列的目标序列的条件概率 ...

Generative Adversarial Networks

我们提出了一个通过对抗过程估计生成模型的新框架，其中我们同时训练两个模型：生成模型 G 捕获数据分布，判别模型 D 估计样本来自训练数据的概率，而不是G 的训练过程是最大化 D 犯错误的概率。该框架对应于极小极大两人游戏 ...

The Flan Collection: Designing Data and Methods for Effective Instruction Tuning

我们研究了公开可用的指令调整方法的设计决策，并分解了 Flan 2022 的开发（Chung 等人，2022）。通过对 Flan 任务和方法集合进行仔细的消融研究，我们梳理了设计决策的效果，这些设计决策使 Flan-T5 在评估设置中比之前的工作高出 3-17% 以上 ...