Human-Inspired Soft Anthropomorphic Hand System for Neuromorphic Object and Pose Recognition Using Multimodal Signals

人体体感系统整合了多模式的感觉反馈，包括触觉，本体感受和热信号，以实现全面的感知和与环境的有效相互作用。受到生物学机制的启发，我们提出了一只柔软的拟人化手，配备了各种传感器，旨在模仿人手的感觉方式。该系统结合了具有生物学启发的编码方案，这些方案将多模式的感觉数据转换为尖峰列车，从而通过尖峰神经网络（SNNS）实现了高效的处理 ...

Spiking Neural Networks for Continuous Control via End-to-End Model-Based Learning

尽管最近在培训峰值神经网络（SNN）进行分类方面取得了进展，但它们在连续电机控制中的应用仍然有限。在这里，我们证明可以端对端训练完全尖峰体系结构，以控制连续环境中具有多个自由度的机器人臂。我们的预测控制框架将泄漏的集成和火力动力学与替代梯度相结合，共同优化了动态预测的正向模型和目标指导动作的策略网络 ...

Multimodal Spiking Neural Network for Space Robotic Manipulation

本文介绍了一个基于空间站上机器人臂的尖峰神经网络（SNN）的多模式控制框架。它旨在应对有限的车载资源的限制，同时实现空间操作中的自动操作和材料转移。通过将几何状态与触觉和语义信息相结合，该框架增强了环境意识，并有助于更强大的控制策略 ...

SpikingBrain Technical Report: Spiking Brain-inspired Large Models

基于主流 Transformer 的大型语言模型面临着主要效率瓶颈：训练计算的量表尺度是序列长度的二次尺度，并且推理记忆线性增长，从而限制了长篇文化处理。在非NVIDIA平台上建立大型模型也为稳定有效的培训带来了挑战。为了解决这个问题，我们介绍了Spikingbrain，这是一个由大脑启发的模型家族，旨在有效的长期培训和推理 ...

Self-Organising Memristive Networks as Physical Learning Systems

用物理系统学习是一种新兴的范式，旨在利用物理基材的内在非线性动力学进行学习。用于计算智能的硬件使用方式的范式转变的动力在很大程度上源于在基于常规晶体管的硬件上实现的人工神经网络软件的不可持续性。该视角强调了一种有前途的方法，该方法使用由电阻内存纳米级组成组成的物理网络和动态重新配置，自组织的电路组成 ...

HITTER: A HumanoId Table TEnnis Robot via Hierarchical Planning and Learning

人形机器人最近在运动和全身控制方面取得了令人印象深刻的进步，但是它们在需要通过操纵与动态环境快速相互作用的任务中受到限制。表网球举例说明了这一挑战：球速度超过5 m/s，球员必须感知，预测和行动，在亚秒反应时间内，同时需要敏捷性和精度。为了解决这个问题，我们提出了人形乒乓球的层次结构框架，该框架将基于模型的球轨迹预测和球拍目标计划与基于强化学习的全身控制器相结合 ...

EmbodiedOneVision: Interleaved Vision-Text-Action Pretraining for General Robot Control

人类在开放世界中无缝执行多模式推理和物理互动的能力是通用体现智能系统的核心目标。在大规模机器人和视觉文本数据上共同培训的最近视觉语言操作（VLA）模型已在一般机器人控制中表现出显着的进展。但是，他们仍然无法在交错推理和相互作用中实现人类水平的灵活性 ...

SP-VLA: A Joint Model Scheduling and Token Pruning Approach for VLA Model Acceleration

视觉语言动作（VLA）模型引起了人们对其强大控制能力的越来越多的关注。但是，它们的高计算成本和低执行频率阻碍了它们对实时任务（例如机器人操纵和自动导航）的适用性。现有的VLA加速方法主要集中于结构优化，忽略了这些模型在顺序决策环境中运行的事实 ...

Fully Spiking Actor-Critic Neural Network for Robotic Manipulation

这项研究提出了基于完全尖峰神经网络（SNN）的混合课程增强学习（CRL）框架，用于9度自由的机器人手臂执行目标到达和掌握任务。为了减少网络复杂性和推理潜伏期，简化了SNN体系结构，仅包括输入和输出层，该输入层显示出资源约束环境的强大潜力。基于SNNS高推理速度，低能消耗和基于尖峰的生物学合理性的优势，临时进度分会的课程策略与近端政策优化（PPO）算法集成在一起 ...

Recipes for Pre-training LLMs with MXFP8

在预训练期间，使用较少的位来表示模型参数和相关张量已成为提高GPU效率而无需牺牲准确性的技术。 Nvidia Blackwell Generation GPU引入的显微镜（MX）格式代表了该技术的主要进步，这使得将狭窄的浮点数据类型与每块尺度缩放因子的粒度更细的粒度相结合是可行的。反过来，这既可以比以前的方法量化更多的张量，又可以对这些张量的操作更有效地执行 ...