RoboGen: Towards Unleashing Infinite Data for Automated Robot Learning via Generative Simulation

我们推出 RoboGen，这是一种生成机器人代理，可以通过生成模拟自动大规模学习各种机器人技能。 RoboGen 利用基础模型和生成模型的最新进展。我们不直接使用或调整这些模型来产生策略或低级动作，而是提倡一种生成方案，该方案使用这些模型自动生成多样化的任务、场景和训练监督，从而在最少的人类监督下扩大机器人技能的学习 ...

CoDeF: Content Deformation Fields for Temporally Consistent Video Processing

我们提出内容变形场 CoDeF 作为一种新型的视频表示，它由聚合整个视频中的静态内容的规范内容场和记录规范图像的变换（即从规范内容渲染）的时间变形场组成。场）到沿时间轴的每个单独的帧 ...

RT-2: Vision-Language-Action Models Transfer Web Knowledge to Robotic Control

我们研究如何将在互联网规模数据上训练的视觉语言模型直接纳入端到端机器人控制中，以促进泛化并实现紧急语义推理。我们的目标是使单个端到端训练模型能够学习将机器人观察映射到动作，并享受对来自网络的语言和视觉语言数据进行大规模预训练的好处。为此，我们建议在机器人轨迹数据和互联网规模的视觉语言任务（例如视觉问答）上共同微调最先进的视觉语言模型 ...

Griffin: Mixing Gated Linear Recurrences with Local Attention for Efficient Language Models

循环神经网络 (RNN) 在长序列上具有快速推理和高效扩展的能力，但它们难以训练且难以扩展。我们提出了 Hawk（一种具有门控线性递归的 RNN）和 Griffin（一种将门控线性递归与局部注意力混合的混合模型）。 Hawk 在下游任务上超过了 Mamba 报告的性能，而 Griffin 则与 Llama-2 的性能相当，尽管训练的 token 数量少了 6 倍多 ...

YOLOv9: Learning What You Want to Learn Using Programmable Gradient Information

如今的深度学习方法重点关注如何设计最合适的目标函数，使得模型的预测结果能够最接近真实情况。同时，必须设计一个适当的架构，可以帮助获取足够的信息进行预测。现有方法忽略了一个事实，即当输入数据经过逐层特征提取和空间变换时，大量信息将会丢失 ...