On Expressive Power of Looped Transformers: Theoretical Analysis and Enhancement via Timestep Encoding

循环 Transformer 在参数效率，计算能力和推理任务的概括方面具有优势。但是，它们在功能近似方面的表达能力仍未得到充实。在本文中，我们通过定义序列到序列函数的连续性模量来建立循环 Transformer 的近似速率 ...

Softpick: No Attention Sink, No Massive Activations with Rectified Softmax

我们介绍了在 Transformer 注意机制中的软键，这是一种纠正的，而不是总和替换，可消除注意力降低和大量激活。我们使用340m参数模型进行的实验表明，软饼在标准基准测试的同时保持了SoftMax的性能均衡，同时达到了0％的接收率。软键 Transformer 产生的隐藏状态显着较低（340 vs 33,510），并产生稀疏的注意力图（46 ...

DeepSeek-Prover-V2: Advancing Formal Mathematical Reasoning via Reinforcement Learning for Subgoal Decomposition

我们介绍了DeepSeek-Prover-V2，这是一种旨在正式定理的开源大语言模型，该模型在LEAN 4中证明，通过递归定理收集的初始化数据证明了由DeepSeek-V3供电的管道。冷启动训练程序首先促使DeepSeek-V3将复杂的问题分解为一系列子目标。解决的子目标的证明被合成为一个经过思考的过程，并结合了DeepSeek-V3的逐步推理，为增强学习创造了最初的冷启动 ...

Benchmarking Vision, Language, & Action Models on Robotic Learning Tasks

Vision语言动作（VLA）模型代表了开发通用机器人系统的有希望的方向，证明了结合视觉理解，语言理解和动作生成的能力。但是，跨不同机器人任务对这些模型的系统评估仍然有限。在这项工作中，我们提供了一个全面的评估框架和用于评估VLA模型的基准套件 ...

Does Reinforcement Learning Really Incentivize Reasoning Capacity in LLMs Beyond the Base Model?

通过可验证的奖励（RLVR）的增强学习最近在增强LLM的推理能力方面取得了显着成功，尤其是在数学和编程任务中。人们普遍认为，RLVR使LLM能够持续自我爆发，从而获得超过相应基本模型能力的新型推理能力。但是，在这项研究中，我们通过测量@\ textIt {k}度量的通行证{k}度量\ textit {k}来探讨模型范围跨广泛的模型家族和基准的模型的推理能力边界，从而重新审视了这一假设 ...

Chain-of-Modality: Learning Manipulation Programs from Multimodal Human Videos with Vision-Language-Models

学习从人类视频中执行操纵任务是一种教学机器人的有前途的方法。但是，许多操纵任务都需要在任务执行过程中更改控制参数，例如force，仅视觉数据无法捕获。在这项工作中，我们利用传感设备（例如测量人类肌肉活动和记录声音的麦克风，捕获人体操纵过程中的细节）等臂章，并使机器人能够提取任务计划和控制参数来执行相同的任务 ...

Energy Matching: Unifying Flow Matching and Energy-Based Models for Generative Modeling

生成模型通常通过匹配流量或分数将噪声映射到数据，但是这些方法对于融合部分观测或其他先验而变得笨拙。受Wasserstein梯度流的最新进展的启发，我们提出了能量匹配，该框架将基于流量的方法统一了基于能量的模型（EBM）的灵活性。远离数据歧管，样品沿着无卷曲的最佳传输路径从噪声到数据移动 ...

Transformers Provably Solve Parity Efficiently with Chain of Thought

这项工作提供了对训练 Transformer 的首次理论分析，以通过递归产生中间状态来解决复杂问题，该状态类似于对经过三通链（COT）推理的微调。我们考虑培训一层 Transformer 来解决基本的$ k $ - 准则问题，从而扩展了Wies等人（2023）对RNN的工作 ...

Echo: An Open-Source, Low-Cost Teleoperation System with Force Feedback for Dataset Collection in Robot Learning

在本文中，我们提出了Echo，这是一种新型的联合匹配的远程操作系统，旨在增强手动和双人任务的数据集集合。我们的系统专门针对控制UR操纵器而定制，并具有具有力反馈和可调节灵敏度模式的自定义控制器，从而实现了精确和直观的操作。此外，ECHO集成了用户友好的数据集记录接口，简化了收集高质量培训数据以进行模仿学习的过程 ...

VEXP: A Low-Cost RISC-V ISA Extension for Accelerated Softmax Computation in Transformers

虽然 Transformer 以浮点（FP）矩阵 - 刺激为主导，但它们通过专用硬件或多核可编程系统的积极加速已将性能瓶颈转移到SoftMax等非线性功能。加速软玛克斯由于其非强度的非线性性质而具有挑战性，这是最苛刻的步骤。为了解决这个问题，我们设计了一个基于Schraudolph方法的新型近似算法的定制算术块，利用了一种新颖的近似算法，并通过自定义指导集（ISA）架构的compute集群的RISC-V核心的RISC-V核心的浮点点单元（FPU）集成到flagible intertection（isa）架构中，并与一个不合时宜的区域相结合 ...