MambaEVT: Event Stream based Visual Object Tracking using State Space Model

近年来，基于事件相机的视觉跟踪因其独特的成像原理以及低能耗、高动态范围和密集时间分辨率的优势而受到越来越多的关注。由于使用视觉 Transformer 和静态模板进行目标对象定位，当前基于事件的跟踪算法逐渐遇到性能瓶颈。在本文中，我们提出了一种新颖的基于 Mamba 的视觉跟踪框架，该框架采用具有线性复杂度的状态空间模型作为骨干网络 ...

Multimodal Autoregressive Pre-training of Large Vision Encoders

我们介绍了一种用于大规模视觉编码器预训练的新方法。基于视觉模型自回归预训练的最新进展，我们将该框架扩展到多模态设置，即 ...

Deep Learning for Multivariate Time Series Imputation: A Survey

普遍存在的缺失值导致多元时间序列数据被部分观测，破坏了时间序列的完整性，阻碍了有效的时间序列数据分析。最近，深度学习插补方法在提高损坏的时间序列数据的质量方面取得了显着的成功，从而提高了下游任务的性能。在本文中，我们对最近提出的深度学习插补方法进行了全面的调查 ...

Understanding Likelihood Over-optimisation in Direct Alignment Algorithms

直接偏好优化 (DPO) 和身份偏好优化 (IPO) 等直接对齐算法 (DAA) 已成为在线人类反馈强化学习 (RLHF) 算法（例如用于对齐语言模型的近端策略优化 (PPO)）的替代方案以满足人类的偏好，而不需要明确的奖励模型。这些方法通常旨在增加生成更好（首选）完成结果的可能性，同时阻止更差（非首选）完成结果，同时保持接近原始模型的行为。在这项工作中，我们探索了最先进的 DAA 中完成可能性和模型性能之间的关系，并确定了可能性过度优化的关键问题 ...

Divide & Conquer for Entailment-aware Multi-hop Evidence Retrieval

词汇和语义匹配通常用作信息检索的相关性度量。他们一起估计查询和候选之间的语义等价性。然而，语义等价并不是检索多跳问题的证据时需要考虑的唯一相关性信号 ...

WaterBench: Towards Holistic Evaluation of Watermarks for Large Language Models

为了减少大型语言模型 (LLM) 的潜在滥用，最近的研究开发了水印算法，该算法限制生成过程，为水印检测留下不可见的痕迹。由于任务的两阶段性质，大多数研究分别评估生成和检测，从而对公正、彻底和适用的评估提出了挑战。在本文中，我们介绍了第一个LLM水印综合基准测试WaterBench，其中我们设计了三个关键因素：（1）对于基准测试程序，为了确保同类比较，我们首先调整每种水印方法的超参数达到相同的水印强度，然后共同评估它们的生成和检测性能 ...

Who Wrote this Code? Watermarking for Code Generation

由于大型语言模型卓越的生成性能引起了伦理和法律问题，因此正在开发通过嵌入水印来检测机器生成文本的方法。然而，我们发现，由于任务具有低熵的性质，现有的工作无法在代码生成任务中正常运行。扩展 logit 修改水印方法，我们提出了通过熵阈值进行选择性水印标记 (SWEET)，它通过在生成和检测水印时删除低熵片段来增强检测能力并减轻代码质量下降 ...

Provable Robust Watermarking for AI-Generated Text

我们研究对大型语言模型 (LLM) 生成的文本加水印的问题——这是解决 LLM 使用安全挑战的最有前途的方法之一。在本文中，我们提出了一个严格的理论框架来量化 LLM 水印的有效性和鲁棒性。我们通过使用简化的固定分组策略扩展现有方法，提出了一种鲁棒且高质量的水印方法，Unigram-Watermark ...

A Survey of Text Watermarking in the Era of Large Language Models

文本水印算法在文本内容的版权保护中发挥着至关重要的作用，但其功能和应用场景历来受到限制。大语言模型（LLM）的最新发展为文本水印技术的进步提供了新的机遇。 LLM 不仅可以通过文本理解和生成能力来增强文本水印算法的能力，而且还需要使用文本水印算法来保护自己的版权 ...

Instance-adaptive Zero-shot Chain-of-Thought Prompting

零样本思维链 (CoT) 提示作为一种简单而有效的策略出现，可增强大型语言模型 (LLM) 在现实世界推理任务中的性能。尽管如此，统一应用于整个实例的单一任务级提示的功效本质上是有限的，因为一个提示不可能成为所有实例的好伙伴，更合适的方法应该仔细考虑提示与每个实例之间的交互。这项工作通过自适应区分好提示和坏提示，引入了实例自适应提示算法作为替代的零样本 CoT 推理方案 ...