CLINE: Contrastive Learning with Semantic Negative Examples for Natural Language Understanding

尽管事实证明，预先训练的语言模型对学习高质量的语义表示有用，但这些模型仍然容易受到简单的扰动的影响。最近的作品旨在提高预训练模型的鲁棒性，主要集中于具有类似语义的扰动示例的对抗训练，从而忽略了对不同语义甚至相反语义的利用。与图像处理字段不同，文本是离散的，很少有单词替换会导致大量的语义变化 ...

Self-Composing Policies for Scalable Continual Reinforcement Learning

这项工作引入了可生长的模块化神经网络体系结构，自然会避免灾难性的遗忘和干扰持续的强化学习。每个模块的结构允许以前的策略及其内部策略的选择性组合，从而加速了当前任务的学习过程。与以前不断增长的神经网络方法不同，我们表明所提出的方法的参数数量相对于任务数量增长，并且不会牺牲可塑性来扩展 ...

GigaAM: Efficient Self-Supervised Learner for Speech Recognition

自我监督学习（SSL）在语音处理中表现出强烈的表现，尤其是在自动语音识别中。在本文中，我们探索了一个SSL预训练的框架，该框架利用掩盖语言建模的目标，该框架具有从语音识别模型中得出的目标。我们还以动态的块大小在预处理期间提出了块状注意，以实现全文和流式调整 ...

Profile-guided memory optimization for deep neural networks

近年来，深层神经网络（DNN）变得越来越深，以在AI的许多应用中取得更好的性能。但是，这样的DNN需要大量的内存才能存储重量和中间结果（例如， ...

KiRAG: Knowledge-Driven Iterative Retriever for Enhancing Retrieval-Augmented Generation

迭代检索型生成（IRAG）模型为多跳问答（QA）提供了有效的方法。但是，他们的检索过程面临两个主要挑战：（1）它可能会被无关的文件或实际不准确的思想链所破坏； （2）他们的猎犬并非旨在动态地适应多步推理中不断发展的信息需求，因此很难在每个迭代步骤中识别和检索所需的丢失信息。因此，我们提出了基拉格（Kirag），它使用知识驱动的迭代猎犬模型来增强IRAG的检索过程 ...

Freeze the backbones: A Parameter-Efficient Contrastive Approach to Robust Medical Vision-Language Pre-training

现代医疗保健经常利用射线照相图像以及文本报告进行诊断，鼓励使用视觉语言自我监督学习（VL-SSL）和大型预训练的模型来学习多功能的医学视觉表示。但是，大多数现有的VL-SSL框架是端到端训练的，这是计算重量的，可能会失去嵌入预训练编码器中的重要事先信息。为了解决这两个问题，我们介绍了骨干 - 不合稳定的适配器框架，该框架通过保持冷冻来保留预训练的图像和文本编码器中的医学知识，并采用了轻巧的适配器模块进行跨模式学习 ...

Frozen CLIP: A Strong Backbone for Weakly Supervised Semantic Segmentation

弱监督的语义细分已经看到了图像级标签取得的巨大成就。最近的几种方法使用剪辑模型来生成伪标签，以训练单个分割模型，而没有尝试将夹模型应用于具有图像级标签的直接分割对象的主链。在本文中，我们提出了一种基于夹子的单级管道Weclip，用于弱监督语义分割 ...

ThinkPrune: Pruning Long Chain-of-Thought of LLMs via Reinforcement Learning

我们提出了ThinkPrune，这是一种简单而有效的方法，用于修剪长期插入LLM的思维长度，这通常会产生效率低下且冗余的思维过程。现有的初步探索减少思维长度主要集中于迫使思维过程提早退出，而不是改编LLM以优化和巩固思维过程，因此到目前为止观察到的长度 - 绩效权衡是次优的。为了填补这一空白，ThinkPrune提供了一个简单的解决方案，该解决方案通过增强学习（RL）不断地训练长期构想的LLM，并增加了 Token 限制，除此之外，任何未完成的思想和答案都将被丢弃，从而获得零奖励 ...

DiffusionRenderer: Neural Inverse and Forward Rendering with Video Diffusion Models

理解和建模照明效应是计算机视觉和图形中的基本任务。基于物理的经典渲染（PBR）准确地模拟了光传输，但依赖于精确的场景表示形式 - 说明3D几何形状，高质量的材料特性和照明条件 - 在现实情况下通常是不切实际的。因此，我们介绍了扩散者，这是一种神经方法，它解决了整体框架内逆和向前渲染的双重问题 ...

TurboRAG: Accelerating Retrieval-Augmented Generation with Precomputed KV Caches for Chunked Text

当前的检索增强生成（RAG）系统连接并处理许多需要大量计算的预填充文档块，因此导致了第一届时期（TTFT）的延迟。为了减少计算开销和TTFT，我们引入了Turborag，Turborag是一种新型的抹布系统，通过首先预先计算和存储文档的键值（KV）caches of turborag，然后直接将键值（kv）caches cache降低，然后直接检索保存的kv kv cache进行预填写。因此，在推断期间消除了KV缓存的在线计算 ...