我们提出了一种学习连续状态和行动的基于表达能量的政策的方法，这仅在以前的表格域中才是可行的。我们将我们的方法应用于学习最大的熵策略，导致了一种称为软Q学习的新算法，该算法通过Boltzmann分布来表达最佳策略。我们使用最近提出的摊销Stein变异梯度下降来学习一个随机采样网络，该网络近似于该分布中的样本 ...

可控文本生成（CTG）旨在生成具有所需属性的文本，而基于解码时间的方法在此任务上表现出了有希望的性能。但是，在本文中，我们首次确定了属性崩溃的现象。当控制强度超过临界值时，它会导致生成的文本的流利度迅速降低，从而使文本完全无法使用 ...

我们介绍了在 Transformer 注意机制中的软键，这是一种纠正的，而不是总和替换，可消除注意力降低和大量激活。我们使用340m参数模型进行的实验表明，软饼在标准基准测试的同时保持了SoftMax的性能均衡，同时达到了0％的接收率。软键 Transformer 产生的隐藏状态显着较低（340 vs 33,510），并产生稀疏的注意力图（46 ...

神经网络在许多推理任务中都取得了成功。从经验上讲，这些任务需要专门的网络结构，例如 ...

可以理解和生成多种模式的多模式生成模型以自回归（AR）方法为主，这些方法从左到右或上或底部或底部或底部依次处理 Token 。这些模型共同处理图像，文本，视频和音频，以进行各种任务，例如图像字幕，问答和图像生成。在这项工作中，我们将离散的扩散模型作为联合文本和图像域中的统一生成式公式，基于它们最近在文本生成方面的成功 ...

分层和复杂的数学表达识别（MER）由于对公式的多种可能解释而使解析和评估复杂化。在本文中，我们介绍了以分层细节为中心的识别数据集（HDR），这是第一个专门旨在解决这些问题的数据集。它由大型培训套件，HDR-100M组成，提供了前所未有的规模和多样性，并提供了1亿个培训实例 ...

手写数学表达式识别（HMER）在自动评分和办公自动化方面有着广泛的应用。然而，现有的基于序列的解码方法直接预测$\LaTeX$序列，难以理解和建模$\LaTeX$固有的树结构，并且常常无法确保解码结果的语法正确性。为了应对这些挑战，我们提出了一种名为 TAMER（Tree-Aware Transformer）的新颖模型，用于手写数学表达式识别 ...

由于数学表达式的结构复杂且符号多样，公式识别面临重大挑战。尽管公式识别模型不断进步，但这些模型采用的评估指标（例如 BLEU 和编辑距离）仍然表现出明显的局限性。他们忽视了同一个公式具有不同的表示形式，并且对训练数据的分布高度敏感，从而导致公式识别评估的不公平性 ...