Dialog-to-Actions: Building Task-Oriented Dialogue System via Action-Level Generation

基于端到端生成的方法已被研究并应用于面向任务的对话系统。然而，在工业场景中，现有方法面临可控性瓶颈（例如 ...

Learn Your Reference Model for Real Good Alignment

对齐问题的复杂性源于现有方法不稳定。研究人员不断发明各种技巧来解决这个缺点。例如，在语言模型对齐的基本人类反馈强化学习 (RLHF) 技术中，除了奖励最大化之外，可训练策略和 SFT 策略之间的 Kullback-Leibler 差异也被最小化 ...

Wu's Method can Boost Symbolic AI to Rival Silver Medalists and AlphaGeometry to Outperform Gold Medalists at IMO Geometry

证明几何定理是结合直觉和逻辑技能的视觉推理的标志。因此，奥林匹克级别几何问题的自动定理证明被认为是人类级别自动推理的一个重要里程碑。 AlphaGeometry 的推出标志着一项重大突破，这是一种用 1 亿个合成样本训练的神经符号模型 ...

When Does Label Smoothing Help?

通过使用软目标（硬目标的加权平均值和标签上的均匀分布），通常可以显着提高多类神经网络的泛化和学习速度。以这种方式平滑标签可以防止网络变得过度自信，并且标签平滑已被用于许多最先进的模型中，包括图像分类、语言翻译和语音识别。尽管标签平滑被广泛使用，但人们对其仍然知之甚少 ...

Dynamic Routing Between Capsules

胶囊是一组神经元，其活动向量表示特定类型实体（例如对象或对象部分）的实例化参数。我们使用活动向量的长度来表示实体存在的概率，并使用其方向来表示实例化参数。某一级别的活动胶囊通过变换矩阵对更高级别胶囊的实例化参数进行预测 ...

Layer Normalization

训练最先进的深度神经网络的计算成本很高。减少训练时间的一种方法是使神经元的活动正常化。最近引入的一种称为批量归一化的技术，使用小批量训练案例中神经元的输入总和的分布来计算均值和方差，然后使用它们对每个训练案例上该神经元的输入总和进行归一化 ...

A Simple Framework for Contrastive Learning of Visual Representations

本文介绍了 SimCLR：一个用于视觉表示对比学习的简单框架。我们简化了最近提出的对比自监督学习算法，而不需要专门的架构或存储库。为了了解是什么使对比预测任务能够学习有用的表示，我们系统地研究了我们框架的主要组成部分 ...

Improving neural networks by preventing co-adaptation of feature detectors

当大型前馈神经网络在小型训练集上进行训练时，它通常在保留的测试数据上表现不佳。通过在每个训练案例中随机省略一半的特征检测器，可以大大减少这种“过度拟合”。这可以防止复杂的协同适应，其中特征检测器仅在几个其他特定特征检测器的上下文中才有帮助 ...

Benchmarking Graph Neural Networks

在过去几年中，图神经网络（GNN）已成为分析图数据和学习图数据的标准工具包。这个新兴领域见证了有前途的技术的广泛发展，这些技术已成功应用于计算机科学、数学、生物学、物理和化学。但任何成功的领域要成为主流且可靠，就必须制定基准来量化进展 ...

GFlowNet Foundations

生成流网络 (GFlowNets) 已被引入作为一种在主动学习环境中对不同候选集进行采样的方法，其训练目标是使它们大致按给定奖励函数的比例进行采样。在本文中，我们展示了 GFlowNet 的许多附加理论特性。它们可用于估计联合概率分布和相应的边际分布，其中某些变量未指定，并且特别有趣的是，它们可以表示复合对象（如集合和图）上的分布 ...