自注意力在长上下文中表现良好，但具有二次复杂度。现有的 RNN 层具有线性复杂度，但它们在长上下文中的性能受到隐藏状态表达能力的限制。我们提出了一类新的序列建模层，具有线性复杂性和富有表现力的隐藏状态 ...
人类可以连续学习。旧的很少使用的知识可以被新的传入信息所覆盖，而重要的，常用的知识被阻止被删除。在人工学习系统中，迄今为止的终身学习主要集中在积累有关任务的知识和克服灾难性遗忘 ...
传统上，两人零和游戏的AI开发依赖于两种主要技术：决策树和增强学习（RL）。一种共同的方法涉及将固定的决策树作为一个玩家的策略，同时训练RL代理作为对手确定决策树中漏洞的对手，从而改善其战略强度。但是，此过程通常需要大量的人类干预来确定决策树的弱点，从而导致效率低下并阻碍策略增强过程的完全自动化 ...
对原始像素输入进行培训的深度强化学习师通常无法超越其训练环境，依靠虚假的相关性和无关紧要的背景细节。为了解决这个问题，最近出现了以对象为中心的代理。但是，它们需要针对任务规格量身定制的不同表示形式 ...
基于图形的检索演示生成（RAG）已被证明有效地将外部知识纳入大型语言模型（LLMS），提高了其事实准确性，适应性，可解释性和可信赖性。文献中已经提出了许多基于图的抹布方法。但是，在同一实验设置下，这些方法尚未进行系统和全面的比较 ...
检索演示的一代（RAG）在知识密集型任务中显示出很大的潜力，但其传统架构依靠静态检索，将其有效性限制在需要顺序寻求信息的复杂问题上。虽然代理推理和搜索提供了一种更自适应的方法，但大多数现有方法都在很大程度上取决于及时工程。在这项工作中，我们介绍了Rag-Gym，这是一个统一的优化框架，在每个搜索步骤中通过细粒度的过程监督增强信息寻求信息 ...
大型语言模型提供了新的机会，可以设计自动实施生成方法，这些方法可以解决问题以外的传统方法，这些方法需要算法规格，并且只能使用静态领域知识，例如性能指标和基本构建基础的库。大型语言模型可以支持创建新方法来支持解决问题的问题，例如问题框架，探索可能的解决方法，功能阐述和组合，更高级的实施评估以及处理意外情况。该报告总结了当前的大型语言模型的工作，包括模型提示，强化学习和检索效果 ...
我们研究了专利短语相似性推断任务，该任务衡量了两个专利短语之间的语义相似性。由于专利文件采用了法律和高度技术语言，因此使用本地上下文信息的现有语义文本相似性方法在推断专利短语相似性方面并不令人满意。为了解决这个问题，我们介绍了一种以图形为单位的方法来放大专利短语的全球上下文信息 ...
