Learning Phrase Representations using RNN Encoder-Decoder for Statistical Machine Translation

在本文中，我们提出了一种称为 RNN 编码器-解码器的新型神经网络模型，它由两个递归神经网络 (RNN) 组成。一个 RNN 将符号序列编码为固定长度的向量表示，另一个 RNN 将表示解码为另一个符号序列。所提出模型的编码器和解码器被联合训练，以最大化给定源序列的目标序列的条件概率 ...

Generative Adversarial Networks

我们提出了一个通过对抗过程估计生成模型的新框架，其中我们同时训练两个模型：生成模型 G 捕获数据分布，判别模型 D 估计样本来自训练数据的概率，而不是G 的训练过程是最大化 D 犯错误的概率。该框架对应于极小极大两人游戏 ...

The Flan Collection: Designing Data and Methods for Effective Instruction Tuning

我们研究了公开可用的指令调整方法的设计决策，并分解了 Flan 2022 的开发（Chung 等人，2022）。通过对 Flan 任务和方法集合进行仔细的消融研究，我们梳理了设计决策的效果，这些设计决策使 Flan-T5 在评估设置中比之前的工作高出 3-17% 以上 ...

Natural TTS Synthesis by Conditioning WaveNet on Mel Spectrogram Predictions

本文介绍了 Tacotron 2，一种直接从文本合成语音的神经网络架构。该系统由一个循环序列到序列特征预测网络组成，该网络将字符嵌入映射到梅尔尺度频谱图，然后是一个修改后的 WaveNet 模型，充当声码器，从这些频谱图中合成时域波形。我们的模型的平均意见得分 (MOS) 为 4 美元 ...

RandAugment: Practical automated data augmentation with a reduced search space

最近的工作表明，数据增强有可能显着提高深度学习模型的泛化能力。最近，自动增强策略在图像分类和对象检测方面取得了最先进的结果。虽然这些策略经过优化以提高验证准确性，但它们也带来了半监督学习的最先进结果，并提高了对图像常见损坏的鲁棒性 ...

AutoAugment: Learning Augmentation Policies from Data

数据增强是提高现代图像分类器准确性的有效技术。然而，当前的数据增强实现是手动设计的。在本文中，我们描述了一个称为 AutoAugment 的简单过程，用于自动搜索改进的数据增强策略 ...

SpecAugment: A Simple Data Augmentation Method for Automatic Speech Recognition

我们提出了 SpecAugment，一种用于语音识别的简单数据增强方法。 SpecAugment 直接应用于神经网络的特征输入（即 ...

EfficientDet: Scalable and Efficient Object Detection

模型效率在计算机视觉中变得越来越重要。在本文中，我们系统地研究了用于目标检测的神经网络架构设计选择，并提出了几个提高效率的关键优化。首先，我们提出了一种加权双向特征金字塔网络（BiFPN），它可以轻松快速地进行多尺度特征融合；其次，我们提出了一种复合缩放方法，可以同时统一缩放所有主干网络、特征网络和框/类预测网络的分辨率、深度和宽度 ...

Neural Architecture Search with Reinforcement Learning

神经网络是强大而灵活的模型，适用于图像、语音和自然语言理解等许多困难的学习任务。尽管取得了成功，神经网络仍然很难设计。在本文中，我们使用循环网络生成神经网络的模型描述，并通过强化学习训练该 RNN，以最大限度地提高验证集上生成的架构的预期准确性 ...

Distributed Representations of Sentences and Documents

许多机器学习算法要求输入表示为固定长度的特征向量。当谈到文本时，最常见的固定长度特征之一是词袋。尽管词袋功能很受欢迎，但它有两个主要弱点：它们失去了单词的顺序，并且还忽略了单词的语义 ...