我们研究了 Transformer 模型在关系推理任务上的能力。在这些任务中，模型在一组编码抽象关系的字符串上进行训练，然后对包含训练数据集中未出现的符号的数据进行分布外测试。我们证明，对于一大类任务中的任何关系推理任务，当通过足够大量的训练数据进行梯度下降训练时，Transformer 会学习抽象关系并泛化到测试集 ...
奖励建模（又名 ...
大型语言模型（LLM）的表格理解能力已经通过表格问答（QA）任务得到了广泛的研究。通常，整个表中只有一小部分与得出给定问题的答案相关。不相关的部分充当噪音并分散注意力，由于 LLM 容易受到噪音的影响，导致表现不佳 ...
基于 Transformer 的大型语言模型 (LLM) 在许多自然语言处理任务中取得了开创性的进展，但是，它们的卓越功能仅限于 Transformer 的预设上下文窗口内。位置嵌入（PE）缩放方法虽然可以有效地将上下文窗口扩展到特定长度，但表现出其外推能力的显着限制或牺牲了上下文窗口内的部分性能。长度外推方法虽然理论上能够将上下文窗口扩展到训练序列长度之外，但在实际的长上下文应用中通常表现不佳 ...
人与物体接触（HOT）旨在准确识别人和物体接触的区域。当前的方法经常无法考虑物体经常遮挡视图的情况，从而导致接触区域的识别不准确。为了解决这个问题，我们建议使用称为 PIHOT 的透视交互 HOT 检测器，它利用深度图生成模型来提供与相机相关的人和物体的深度信息，从而防止错误的交互检测 ...
自然语言处理 (NLP) 的快速调整已成为使大型语言模型适应特定任务的越来越流行的方法。然而，这些提示（尤其是连续提示）在不同模型之间的可转移性仍然是一个挑战。在这项工作中，我们提出了一种零样本连续提示转移方法，其中源提示被编码到相对空间中，并搜索相应的目标提示以转移到目标模型 ...
有两个工作领域正在占据人工智能研究的中心舞台。一方面，社区正在加大力度构建模型，以丢弃虚假相关性并在新的测试环境中更好地泛化。不幸的是，迄今为止的惨痛教训是，没有任何提案能够令人信服地优于简单的经验风险最小化基线 ...
由于大型语言模型 (LLM) 不断增加的标记限制已启用长上下文作为输入，因此使用单个数据样本进行提示可能不再是一种有效的方法。提高效率的一个简单策略是在 Token 限制内批量处理数据（例如 ...
