TubeDETR：基于Transformer的空间-时间视频定位

摘要

我们考虑在一个视频中定位与给定文本查询相对应的时空管的问题。 这是一项具有挑战性的任务，需要对时间、空间和多模态交互进行联合和高效的建模。 为了解决这个问题，我们提出了TubeDETR，这是一种基于Transformer的架构，其灵感来自最近这类模型在文本条件下物体检测方面的成功。 我们的模型主要包括： (i) 一个高效的视频和文本编码器，它对稀疏采样的帧进行空间多模态交互建模，以及 (ii) 一个时空解码器，它联合执行时空定位。 通过广泛的消融研究，我们证明了我们提出的组件的优势。 我们还在时空视频定位任务上评估了我们的完整方法，并在具有挑战性的VidSTG和HC-STVG基准上展示了比现有技术更好的性能。

1 引言

将自然语言基础在视觉内容中是一项基本技能，可以构建强大且可解释的视觉和语言模型。 尤其，理解语言与视频中空间区域和时间边界的关联对于分析和改进多模态视频模型尤为重要。 这超出了将全局视觉表示与文本表示关联[62, 57]，因为它需要推理关于详细的时空视觉表示及其与自然语言的关联，如图1所示。

时空视频定位，最近在[102]中引入，是一项有趣且具有挑战性的任务，它位于视觉定位[33, 59, 74]和时间定位[30, 25, 9]的交叉点。 给定未修剪的视频和对象的文本描述，时空视频接地旨在定位时空管(即。，一系列边界框）输入文本描述的目标对象。 此任务尤其具有挑战性，因为视频高度多样化，并且通常呈现出具有挑战性的场景，其中不同的实体具有相似的外观或在一个场景中执行相似的动作。

图 1: 时空视频定位需要对空间、时间和语言进行推理。

基于注意力的模型在自然语言处理中的成功 [75, 21] 近年来启发了将 Transformer 集成到计算机视觉任务中的方法，例如图像分类 [22]、目标检测 [8]、语义分割 [52] 或动作识别 [3, 7, 100, 60]。 值得注意的是，DETR [8] 在目标检测方面展现出具有竞争力的性能，同时消除了对多个手工设计的组件的需求，这些组件编码了关于此任务的先验知识。 最近，MDETR [37] 将此框架扩展到图像域中的各种文本条件目标检测任务，例如短语定位、参照表达式理解和分割。

受这些工作的启发，以及基于注意力的架构是为视频中的多模态和时空上下文关系建模的直观选择的这一事实，我们开发了一个时空视频定位的 Transformer 编码器-解码器模型，如图 2 所示。 虽然现有的针对此任务的方法依赖于预提取的对象建议 [102]、管式建议 [72] 或上采样层 [68]，但我们的架构只是对称为 时间查询 的抽象进行推理，以共同执行时间定位和视觉定位。 我们的框架能够使用相同的表示来完成这两个子任务，从而学习强大的上下文表示。

更具体地说，我们的架构包括用于共同建模时间、空间和多模态交互的关键组件。 我们的视频-文本编码器通过对稀疏采样帧计算这些交互来有效地编码空间和多模态交互，并通过轻量级快速分支分别恢复时间局部信息。 我们的时空解码器通过时间自注意力层对时间交互进行建模，并通过时间对齐的交叉注意力层对空间和多模态交互进行建模。 时空视频定位然后通过解码器输出顶部的多个头来解决，这些头预测对象框和时间开始和结束概率。 我们进行了各种消融研究，其中我们特别展示了我们的视频-文本编码器在性能-内存权衡方面的优势，以及我们的时空解码器在时空定位结果方面的效率。 最后，我们表明，我们的方法在两个基准测试 VidSTG [102] 和 HC-STVG [72] 上显著优于最先进的方法。

总之，我们的贡献有三方面： (i) 我们提出了一种用于时空视频定位的新架构，它使用时空 Transformer 解码器来执行此任务。 (ii) 我们提出了一种双流编码器，它基于慢速多模态流和轻量级快速视觉流，有效地编码了空间和多模态交互。 (iii) 我们在两个基准数据集 VidSTG 和 HC-STVG 上进行了综合实验，结果表明我们的框架在时空视频定位任务中非常有效。 我们的方法被称为 TubeDETR，在所有最先进的方法中取得了显著的性能提升。

代码和训练模型可在 [1] 公开获取。

2 相关工作

时空视频定位。 视觉定位是指在给定指代表达式的条件下，对物体进行空间定位，一直是图像领域 [18, 33, 32, 59, 83, 91, 97, 107, 51, 77] 和视频领域 [35, 66, 74] 的研究热点。 一个标准的范式是使用预先提取的物体建议 [48, 49, 78, 84, 86, 87, 90]，而一些最近的工作 [46, 37, 19, 34, 56, 89, 88] 提出了一种不需要此类建议的单阶段方法。 我们的工作遵循 MDETR [37] 的单阶段框架，但将其扩展到时空视频定位，并加入了时间定位损失（见公式 3.4）、慢速-快速编码（见图 3）和时空解码（见图 4）。

另一条研究路线侧重于在给定自然语言查询的情况下，在视频中定位时间片段 [9, 10, 30, 31, 25, 47, 58, 64, 80, 101, 96, 99, 98, 95, 76, 92, 12, 27]。 这些工作构建了能够推断时间的架构，但没有保留空间信息。 时空视频定位位于时间定位和视觉定位的交叉点。 虽然一些方法 [15, 72, 84] 依赖于预先提取的管状建议，或物体建议 [102]，但我们的方法不需要任何预先提取的建议。 最近的一项工作 [68] 提出了一种名为 STVGBert 的单阶段方法，它将 VilBERT 模型 [54] 在概念字幕 [65] 上进行预训练后，应用于这项任务。 STVGBert 使用反卷积进行视觉定位，并对时间和空间交互进行对称建模。 相比之下，我们的架构使用 Transformer 解码器进行视觉定位，并分别推断时间和空间维度。

视频理解中的时间建模。 像 ViT [22] 或 DETR [8] 这样的用于图像理解的强大模型的兴起，促进了将这些模型扩展到视频领域的研究 [3, 7, 100, 41, 29, 60]。 特别是，Lei et al. [41] 提出了一种架构，将时刻检索视为一个直接的集合预测问题，但它不适合视觉定位，因为它不保留空间信息。 He et al. [29] 将 DETR 框架扩展到视频，并提出了一种在可变形 DETR [106] 之上添加了顺序模块的架构，而我们的架构是基于对预训练的编码器和解码器的内部修改构建的，并且还推理语言。 我们的双分支编码器也与 SlowFast 网络 [23, 82] 相关，后者结合了快慢视频流。 相比之下，在我们的情况下，两个流都对从同一骨干网络提取的特征进行操作，我们的双流架构的灵感来自于与多模态建模相关的计算复杂度。

视觉和语言。 基于 Transformer 的架构已成为各种视觉和语言任务中无处不在的工具 [69, 71, 54, 14, 20, 36, 43, 45, 55, 103, 11, 38, 17]。 大多数视频文本 Transformer 依赖于预提取的对象特征 [105]，或者空间池化特征 [70, 44, 26, 85, 24, 104]，这些特征不保留详细的空间信息。 相比之下，我们的架构旨在保留空间信息以执行视觉定位。 一些最新研究提出基于 Transformer 的架构，对保留空间信息的视频和文本进行推理 [42, 94, 2, 5]。 但是，这些研究通常旨在学习全局视频表示以解决视频级预测任务，而我们专注于学习详细的帧级表示以解决需要空间和时间定位的密集预测任务。

3 方法

图 2: TubeDETR 模型概述 . 所有输入视频帧 $v_t$ 和句子 $s$ 首先用视觉骨干网络和文本编码器进行处理。 然后，使用视频文本编码器对生成的文本和视频特征 $y_0(s)$ 和 $x_0(v)$ 进行联合编码，该编码器计算 $M$ 短剪辑的 $k$ 帧（约 1 秒）的空间和多模态交互。 然后，使用时空解码器将生成的视频文本特征 $F(v,s)$ 解码为输出时空管 $\widehat{b}$，该解码器对整个视频的时间、空间和文本进行联合推理。

我们首先在第 3.1 节中概述了我们的模型。 接下来，我们将详细介绍我们模型的两个主要部分：视频文本编码器（第 3.2 节）和时空解码器（第 3.3 节）。 然后在第 3.4 节中，我们将解释用于训练我们模型的损失。 最后，在第 3.5 节中，我们将介绍我们如何初始化模型权重。

3.1 概述

我们的目标是，给定一个视频和一个语言查询，输出一个时空管，即。 一个具有时间边界的一系列边界框，将语言查询定位到视频中。 这很有挑战性，因为它需要对语言查询和视频之间的长程 空间 和 时间 交互进行建模，其中视频可能具有数百帧，由数万个时空视频特征表示。 因此，效率是一个主要挑战。 为了解决这个问题，我们设计了一个编码器-解码器架构，如图 2 所示，它能够在整个视频中准确而有效地对视频语言空间和时间交互进行建模。 特别是，我们的双流视频文本编码器（第 3.2 节）仅对大约一秒的短片段建模视频语言交互，但允许详细的空间定位。 我们的时空解码器（第 3.3 节）然后在整个视频上对长程时间交互进行建模，以产生时间上一致的输出和对输出时空管的开始和结束时间的准确预测。

图 3： 视频-文本编码器 将一组二维扁平图像特征 $x_0(v)$ 与查询句子的文本特征集 $y_0(s)$ 作为输入，并输出一组视频文本特征 $F(v,s)$，每个帧一个。 顶部：慢速多模态 分支首先从视频特征 $x_m^p$ 中采样，每 $k$ 帧采样一次。 然后，它使用变压器编码器计算采样特征 $x_m^p$ 和文本特征 $y_0$ 之间的多模态交互。 时间采样减少了视频特征的数量，以便有效地计算基于注意力的交互。 底部：轻量级“快速视觉专用”分支$f$处理来自所有帧的特征，但不使用任何注意层来提高效率。 然后，来自两个分支的特征在模块$g$中组合成最终的每帧特征集$F(v,s)$。

3.2 视频-文本编码器

我们的编码器如图3所示，并在下面描述。 它的目标是模拟语言查询和视频之间的空间和多模态交互，以准确地将查询在空间上定位到每一帧。 为此，我们利用自注意力层联合建模空间和视觉语言交互的能力[37, 42, 36]。 但是，计算每一帧的视觉特征和文本特征之间的自注意力的计算成本很高。 出于这个原因，我们建议仅针对每$k$帧计算空间和多模态交互。 我们将产生的流称为慢多模态分支。 我们使用一个单独的轻量级快速视觉专用分支，它保留了原始的帧速率，并使我们能够恢复慢分支稀疏采样丢失的一些高频时空细节。

形式上，我们的编码器将来自视觉主干的所有输入视频$T$帧的一组 2D 平坦图像特征$x_0(v)\in {ℝ}^{T\times HW\times d}$以及文本编码器从查询句子中提取的一组$L$文本特征$y_0(s)\in {ℝ}^{L\times d}$作为输入，并输出一组视频文本特征$F(v,s)\in {ℝ}^{T\times (HW+L)\times d}$，每帧一个。 接下来我们将详细介绍慢速和快速分支，以及最终的特征聚合模块。

慢多模态分支。 这个分支的目标（见图3的顶部）是对视觉和文本表示之间的交互进行建模。 这条分支首先从 一个 帧中采样特征，用于 $k$ 个连续帧的短剪辑。 典型的剪辑长度为一秒，即. $k=5$ 标准帧率为每秒 5 帧 [102]。 形式上，得到的特征图被写成 $x^p\in {ℝ}^{M\times HW\times d}$，其中 $M=\lceil \frac{T}{k}\rceil$ 是剪辑的数量，$k$ 是剪辑的长度，$T$ 是整个视频的长度。 然后，我们为每个剪辑 $m$ 连接其视觉特征 $x_m^p$ 和文本特征 $y_0(s)$，并将其转发到 N 层 Transformer 编码器。 输出是上下文化的视觉文本表示 $h^p(v,s)\in {ℝ}^{M\times (HW+L)\times d}$，它有效地结合了输入视频 $v$ 和查询句 $s$ 中的信息。

快速仅视觉分支。 前面解释的时间稀疏采样方案显着减少了视频文本编码器的内存需求，但会导致时空细节的丢失，而这些细节对于时空视频定位很重要。 为了缓解这个问题，我们引入了模块 $f$（见图 3 底部），该模块对 所有帧的 2D 平铺图像特征 进行操作。 形式上，给定特征图 $x_0(v)$，该模块输出视觉特征 $f(v)\in {ℝ}^{T\times HW\times d}$。 这个 快速 分支保留了特征的空间和时间分辨率，但计算量很小，因为它不计算任何多模态或空间交互。 为了提高效率，在训练时，该分支不会将梯度反向传播到视觉主干。 此外，我们在第 4.2 节中展示，当与从慢分支获得的时间稀疏特征相结合时，它能够恢复在时间采样过程中丢失的一些时间信息。

慢速-快速特征聚合。 现在我们来描述 慢速 和 快速 分支聚合模块（见图 3，右侧），它融合了来自两个分支的信息并输出最终的视频文本特征。 为了匹配来自 快速 分支 $f(v)$ 的输出的时间维度，慢速 多模态分支 $h^p(v,s)$ 的输出在时间上被复制了 $k$ 次，每个剪辑得到一个视频文本编码 $h(v,s)\in {ℝ}^{T\times (HW+L)\times d}$。 这些编码是文本上下文化的视觉编码 $h_v(v,s)\in {ℝ}^{T\times HW\times d}$ 和视觉上下文化的文本编码 $h_s(v,s)\in {ℝ}^{T\times L\times d}$ 的串联。 将文本语境化的视觉编码 $h_v(v,s)$ 与 快速 分支的输出相结合，并通过一个额外的聚合模块 $g$ 和一个残差连接，得到聚合后的视觉编码 $F_v(v,s)=g(h_v(v,s),f(v))+h_v(v,s)$。 我们视频文本编码器的最终输出是通过将这些聚合后的视觉编码与视觉语境化的文本编码 即 $F(v,s)=[F_v(v,s),h_s(v,s)]\in {ℝ}^{T\times (HW+L)\times d}$ 连接起来得到的。 具体来说，模块 $g$ 是通过一个求和操作，然后是一个线性层实现的，即 $g(h_v(v,s),f(v))=\text{Linear}(h_v(v,s)+f(v))$。

图 4： 时空解码器 . 解码器由 $N$ 个重复的块组成。 在每个块中，时间查询 $q_t$ 通过 时间自注意力 依次相互关注，并通过 时间对齐交叉注意力 关注它们各自时间对齐的视频文本特征 $F(v,s)$。 交叉注意力掩码（底部）表示每个输入 $HW+L$ 视频语言特征与 $T$ 个输入帧（x 轴）和 $T$ 个时间查询（y 轴）之间的非零权重（白色）。 交叉注意力掩码确保每个时间查询 $q_t$ 仅交叉关注对应帧 $t$ 的视频文本特征 $F(v,s)$，这显著提高了解码器的效率，并能够解码 $T$ 帧的完整视频。 时间自注意力层确保了对视频整个长度的时间建模。

3.3 时空解码器

我们的解码器如图 4 所示，并将在下面详细介绍。 它的目标是对 $T$ 帧整个视频中的时间交互进行建模，并将编码器中的多模态特征解码成具有准确起始和结束时间的时序一致的输出管。 这是通过一个高效的解码器架构实现的，该架构交替使用 (i) 时间自注意力 层，它对整个视频中的 时间 交互进行建模，以及 (ii) 时间对齐交叉注意力 层，它有效地将从编码器获得的单个帧的视频文本特征合并到一起。 具体来说，解码器对 $T$ 个位置编码 ${\{q_t\}}_{t=1}^T$ 进行操作，每个帧一个，称为时间查询。 每个时间查询的初始编码是通过对所有帧通用的学习到的对象编码和一个冻结的正弦时间编码进行求和得到的。 解码器还将 $T\times (HW+L)$ 视频-语言嵌入 $F(v,s)$ 作为输入，这些嵌入是由视频-文本编码器输出的。 解码器是 $N$ 解码器块的连续序列。 每个块都由时间自注意力、时间对齐交叉注意力和前馈层组成，并与归一化 [4] 交织在一起，如图 4 所示。 解码器输出经过细化的时间查询 ${\{Q_t\}}_{t=1}^T$，这些查询在视频中的所有帧以及编码器生成的视频-文本特征之间进行上下文化。 然后，将经过细化的时间查询联合用于输出时空视频管，该视频管将输入句子与视频联系起来。 接下来将详细描述各个层。

时间自注意力。 $T$ 输入时间查询 $q_t$ 使用时间自注意力层相互关注。 该层位于解码器中的每个 $N$ 块中，负责对整个视频中的长程时间交互进行建模。 这是因为该层的复杂度相对较低，它不依赖于输入视频的空间分辨率。

时间对齐交叉注意力。 由于视频帧数量 $T$ 很多，并且视频特征的空间分辨率 $HW$ 很大，因此允许每个时间查询交叉关注所有 $T\times (HW+L)$ 视频-文本特征在计算上可能非常昂贵。 相反，在我们的交叉注意力模块中，每个时间查询 $q_t$ 只交叉关注帧 $t$ 处与其时间对应多模态特征 $F(v,s)[t]$。 请注意，使用我们的时间对齐交叉注意力公式，时间编码和时间自注意力层变得更加重要，因为它们负责整个视频的时间建模。 没有它们，我们的解码器将独立解码每一帧。 它们的重要性在第 4.2 节中被消除。

预测头。 解码器的输出是一组细化的时间查询 ${\{Q_t\}}_{t=1}^T$。 它们被联合用于视觉定位和时间定位，以同时获得对 视频所有帧 的预测。 详细地说，所有边界框的归一化坐标（二维中心和大小） $\widehat{b}\in {[0,1]}^{T\times 4}$ 由一个三层 MLP 预测。 输出视频管的开始和结束的概率，分别为 ${\widehat{\tau }}_s\in {[0,1]}^T$ 和 ${\widehat{\tau }}_e\in {[0,1]}^T$，由两层 MLP 预测。 在推理时，输出管的开始和结束时间，分别为 ${\widehat{t}}_s$ 和 ${\widehat{t}}_e$，通过选择联合开始和结束概率分布 $({\widehat{\tau }}_s,{\widehat{\tau }}_e)\in {[0,1]}^{T\times T}$ 的最大值来计算，其中无效组合 ${\widehat{t}}_e\le {\widehat{t}}_s$ 被屏蔽。 预测的时空管 ${\{{\widehat{b}}_t\}}_{t={\widehat{t}}_s}^{{\widehat{t}}_e}$ 由在选择的开始和结束时间 ${\widehat{t}}_s$ 和 ${\widehat{t}}_e$ 内预测的边界框 ${\widehat{b}}_t$ 组成。

3.4 训练损失

输入训练数据以一组视频的形式给出，其中每个视频都用一个查询句子 $s$ 和相应的视频管 $b$ 进行标注，该视频管由一组边界框和相应的开始和结束时间 $t_s$ 和 $t_e$ 组成。 受 [64] 的启发，我们构建了一个目标开始（分别为结束）分布 ${\tau }_s\in {[0,1]}^T$（分别为 ${\tau }_e$），它遵循以 $t_s\in [0,T-1]$（分别为 $t_e$）为中心的量化高斯分布，标准差为 1。 我们用四个损失的线性组合来训练我们的架构

$ℒ={\lambda }_{{ℒ}_1}{ℒ}_{{ℒ}_1}(\widehat{b},b)+{\lambda }_{gIoU}{ℒ}_{gIoU}(\widehat{b},b)$

$+{\lambda }_{KL}{ℒ}_{KL}({\widehat{\tau }}_s,{\widehat{\tau }}_e,{\tau }_s,{\tau }_e)+{\lambda }_{att}{ℒ}_{att}(A)$ (1)

其中 $b\in {[0,1]}^{4(t_e-t_s+1)}$ 表示归一化的地面真实框坐标，$\widehat{b}$ 表示预测的边界框，$A\in {[0,1]}^{T\times T}$ 表示时间自注意力矩阵。 最后，不同的 ${\lambda }_{\bullet }$ 是各个损失的标量权重。 ${ℒ}_{{ℒ}_1}$ 是一个关于边界框坐标的 ${ℒ}_1$ 损失。 ${ℒ}_{gIoU}$ 是一个关于边界框的广义“交并比”（IoU）损失 [63]。 ${ℒ}_1$ 和 ${ℒ}_{gIoU}$ 都用于空间定位。 ${ℒ}_{KL}({\widehat{\tau }}_s,{\widehat{\tau }}_e,{\tau }_s,{\tau }_e)$ 是 Kullback-Leibler 散度损失，用于衡量预测的开始分布与目标开始分布之间的距离，以及预测的结束分布与目标结束分布之间的距离 [64]。 ${ℒ}_{att}(A)$ 是一种引导注意力损失 [64]，它鼓励时间边界之外的时间查询对应的权重低于这些边界内的权重。 ${ℒ}_{KL}$ 和 ${ℒ}_{att}(A)$ 都用于时间定位。 损失是在解码器每一层计算的，遵循 [8]。

3.5 权重初始化

我们使用 MDETR [37] 在 Flickr30k [61]、MS COCO [13] 和 Visual Genome [40] 上预训练的权重来初始化我们的架构。 详细来说，我们视频-文本编码器的权重从 MDETR 多模态编码器初始化，除了快速模块和聚合模块。 我们还使用 MDETR 单图像多目标解码器的权重来初始化我们多帧单目标时空解码器，除了时间定位头。 我们通过将其与 ImageNet 初始化进行比较来展示这种初始化的好处， i.e. 使用在 ImageNet 上预训练的视觉主干和随机初始化的 Transformer，在第 4.2 节。 我们还在第 4.2 节评估了 MDETR 等效基线。

4 实验

本节展示了我们架构的有效性，并将我们的方法与最先进的方法进行了比较。 我们首先在第 4.1 节介绍了数据集、评估指标和实现细节。 然后，我们在第 4.2 节中展示了消融研究。 第 4.3 节给出了时空视频定位中与最先进方法的比较。 最后，我们在第 4.4 节展示了定性结果。

4.1 实验设置

数据集.

我们在 VidSTG [102] 和 HC-STVG [72] 数据集上评估了我们的方法. 两者都用与文本查询相对应的时空管道进行标注. VidSTG 包含 99,943 个句子描述，其中包含 44,808 个陈述句和 55,135 个疑问句，描述了出现在 10,303 个不同视频中的 79 种类型的物体. 该数据集被划分为训练、验证和测试子集，分别包含 80,684、8,956 和 10,303 个不同的句子，以及 5,436、602 和 732 个不同的视频. HC-STVG 包含多人场景中的视频，每个视频都用一个指代某个人的句子进行标注. 为了消融，我们使用该数据集的第二个改进版本 HC-STVG2.0，该版本被划分为训练和验证子集，分别包含 10,131 和 2,000 个视频-句子对. 在撰写本文时，测试集尚未公开发布. 为了与以前的工作进行比较，我们使用该数据集的第一个版本 HC-STVG1，该版本被划分为训练和测试子集，分别包含 4,500 和 1,160 个视频-句子对.

评估指标.

我们遵循 [102] 并定义 $vIoU$ 为 $vIoU=\frac{1}{|S_u|}{\sum }_{t\in S_i}IoU({\widehat{b}}_t,b_t)$，其中 $S_u$（分别为 $S_i$）是地面实况 (GT) 和预测时间戳之间并集（分别为交集）中的帧集. ${\widehat{b}}_t$（分别为 $b_t$）是时间 t 处的预测（分别为 GT）框. 为了评估时空视频接地，我们使用 $m\mathrm{\_}vIoU$，它是 $vIoU$ 的平均值. 我们还使用 $vIoU\mathrm{@}R$，即 $vIoU>R$ 的样本比例. 为了隔离时间定位的评估，我们使用 $m\mathrm{\_}tIoU$，它是 GT 开始和结束与预测开始和结束之间的时间 IoU 的平均值. 同样，为了仅评估空间接地，我们使用 $m\mathrm{\_}sIoU$，它是通过使用 GT 开始和结束时间来计算的. 对于消融，我们报告所有样本的平均结果. 更详细的消融结果分别针对 VidSTG 中的陈述句和疑问句，在附录部分 C 中给出。我们还报告了训练期间的峰值 GPU 内存使用量 (Mem.). 用于衡量替代模型的内存占用。

实现细节。

视觉主干网络是 ResNet-101 [28]，文本编码器是 RoBERTa [50]，快速模块 $f$ 是一个线性层。 遵循 [102]，我们每秒采样 5 帧视频，对于超过 200 帧采样的视频，我们均匀地采样 200 帧。 我们使用超参数 $T=200$、 $N=6$、 $d=256$、 ${\lambda }_{{ℒ}_1}=5$、 ${\lambda }_{giou}=2$、 ${\lambda }_{KL}=10$ 和 ${\lambda }_{att}=1$。 我们分别在 VidSTG、HC-STVG2.0 和 HC-STVG1 上训练我们的网络 10、20 和 40 个 epoch。 最终模型是根据验证集上最佳的时空视频定位性能选择的。 对于最大的数据集 VidSTG，优化在 16 个 Tesla V100 GPU 上需要 2 天时间。 更多细节包含在附录部分 B 中。

4.2 消融研究

	Time Encoding	Self Attention	m_tIoU	m_vIoU	vIoU @0.3	vIoU @0.5	m_sIoU
1.	✗	-	23.9	12.2	15.3	6.1	47.0
2.	✗	Temporal	25.2	13.0	16.9	6.5	47.3
3.	✓	-	41.7	21.3	28.7	17.4	46.5
4.	✓	Temporal	45.9	24.3	33.2	22.0	47.7

表 1: 我们时空解码器中时间编码和时间自注意对 VidSTG 验证集的影响。

	Pre- Training	Decoder Self- Attention Transfer	m_tIoU	m_vIoU	vIoU @0.3	vIoU @0.5	m_sIoU
1.	✗	✗	42.8	18.8	25.1	15.6	38.5
2.	✓	✗	43.8	22.4	29.9	19.1	46.5
3.	✓	Temporal	45.9	24.3	33.2	22.0	47.7

表 2: 模型权重初始化对 VidSTG 验证集的影响。

（一） 视频STG

	Fast	Res.	Temp. Stride	m_tIoU	m_vIoU	vIoU@0.3	vIoU@0.5	m_sIoU	Mem. (GB)
1.	—	224	1	46.5	25.2	34.1	23.0	49.1	23.9
2.	✓	224	2	46.0	25.0	34.3	22.9	49.0	16.2
3.	✓	224	5	45.9	24.3	33.2	22.0	47.7	11.8
4.	✓	288	2	46.4	25.9	35.0	23.9	50.5	23.7
5.	✓	320	3	46.4	25.9	35.7	23.7	50.7	23.6
6.	✓	352	4	46.9	26.2	36.1	24.1	50.7	24.4
7.	✗	352	4	46.6	24.8	34.0	21.6	48.3	18.1
8.	✓	384	5	46.8	26.0	35.5	24.0	50.4	26.1

(b) HC-STVG2.0

	Fast	Res.	Temp. Stride	m_tIoU	m_vIoU	vIoU@0.3	vIoU@0.5	m_sIoU	Mem. (GB)
1.	—	224	1	52.8	35.0	55.3	28.3	63.9	14.3
2.	✓	224	2	53.7	35.8	56.7	29.6	64.3	10.2
3.	✓	224	5	53.2	35.0	54.5	29.0	63.2	8.0
4.	✓	288	2	53.9	36.4	58.1	30.7	65.4	13.9
5.	✓	320	3	53.6	36.2	57.5	30.4	65.2	13.8
6.	✓	352	4	53.9	36.4	58.8	30.6	64.9	14.3
7.	✗	352	4	53.1	34.7	55.9	27.4	63.0	11.3
8.	✓	384	5	53.6	36.3	57.5	30.4	65.3	15.2

表 3: 比较了在各种时间步长 $k$、空间分辨率 (Res. ) 以及是否在视频-文本编码器中使用快速分支的情况下，性能-内存权衡，结果在 VidSTG 验证集（左，表 3(a)）和 HC-STVG2.0 验证集（右，表 3(b)）上。

	Method	Pretraining Data	VidSTG								HC-STVG1
			Declarative Sentences				Interrogative Sentences
			m_tIoU	m_vIoU	vIoU@0.3	vIoU@0.5	m_tIoU	m_vIoU	vIoU@0.3	vIoU@0.5	m_vIoU	vIoU@0.3	vIoU@0.5
1.	STGRN [102]	Visual Genome	48.5	19.8	25.8	14.6	47.0	18.3	21.1	12.8	—	—	—
2.	STGVT [72]	Visual Genome + Conceptual Captions	—	21.6	29.8	18.9	—	—	—	—	18.2	26.8	9.5
3.	STVGBert [68]	ImageNet + Visual Genome + Conceptual Captions	—	24.0	30.9	18.4	—	22.5	26.0	16.0	20.4	29.4	11.3
4.	TubeDETR (Ours)	ImageNet	43.1	22.0	29.7	18.1	42.3	19.6	26.1	14.9	21.2	31.6	12.2
5.	TubeDETR (Ours)	ImageNet + Visual Genome + Flickr + COCO	48.1	30.4	42.5	28.2	46.9	25.7	35.7	23.2	32.4	49.8	23.5

表 4: 与 VidSTG 测试集和 HC-STVG1 测试集上的最新技术进行比较。

在本节中，我们消融了模型的超参数，并评估了编码器和解码器的替代设计选择。 除非另有说明，否则我们使用 224 像素的空间帧分辨率和时间步长 $k=5$。

时空解码器。 我们首先消融了所提出的时空解码器的设计选择。 我们将完整的解码器模型与没有时间编码、没有时间自注意力以及两者都没有的变体进行比较。 没有两者都对应于空间专用解码器，类似于独立应用于每一帧的 MDETR [37]。 表 1 显示，在使用时间编码和时间自注意力时，与空间专用解码器相比有实质性改进（行 1 和 4 之间的 $vIoU\mathrm{@}0.3$ 上 +17.9%）。 收益主要来自时间定位（$m\mathrm{\_}tIoU$ 上 +22.0%），而空间接地则适度提高（$m\mathrm{\_}sIoU$ 上 +0.7%）。 此外，我们可以观察到时间编码带来了大部分收益（行 1 和 3 之间的 $vIoU\mathrm{@}0.3$ 上 +13.4%）。 最后，时间自注意力在仅使用时间编码的基础上取得了额外的改进（第 3 行和第 4 行之间的 $vIoU\mathrm{@}0.3$ 提高了 +4.5%）。

初始化。 我们现在将分析使用预训练的 MDETR [37] 权重初始化模型的重要性。 在表 2 中，我们将此初始化与 ImageNet 初始化进行比较，以及一个变体，该变体不将 MDETR 解码器的空间自注意力权重迁移到我们时空解码器中的时间自注意力。 在预训练时，此自注意力用于模拟同一图像中不同对象之间的空间关系，而我们解码器中的时间自注意力模拟视频不同帧中同一对象之间的时序关系。 我们发现预训练非常有利（第 1 行和第 3 行之间的 $vIoU\mathrm{@}0.3$ 提高了 +8.1%），尤其对于空间定位性能（$m\mathrm{\_}sIoU$ 提高了 +9.2%）。 此外，我们观察到将 MDETR 解码器的空间自注意力权重用于初始化我们解码器中的时间自注意力（第 2 行和第 3 行之间的 $vIoU\mathrm{@}0.3$ 提高了 +3.3%）的优势。

空间分辨率和时间步长的影响 $k$。 在本节中，我们分析了帧分辨率和时间步长 $k$ 的影响。 在表 3 中，我们展示了提高分辨率是时空视频定位性能的重要因素，无论是在 VidSTG 还是 HC-STVG2.0 数据集上（见第 2 行和第 4 行）。 但是，它也会导致内存使用量显着增加（16.2GB 对 23.7GB）。 因此，使用时间步长 $k=1$ 的变体在 Tesla V100 32GB GPU 上难以在 VidSTG 上以高于 224 的分辨率进行训练。 在固定的 224 分辨率下，将时间步长 $k$ 增加到 2 或 5 会分别将峰值内存使用量减少 7.7GB 或 12.1GB（见第 1 行与第 2 行或第 3 行的比较）。 我们提出的视频-文本编码器使我们能够在给定内存使用量的情况下以更高的分辨率进行训练。 这比使用时间步长 $k=1$ 的基线变体（第 1 行）实现了更好的性能-内存权衡（第 4、5、6、8 行）。 特别地，在两个数据集上获得的最佳时空视频定位结果（$m\mathrm{\_}vIoU$ 和 $vIoU\mathrm{@}R$）是使用时间步长 $k=4$ 和 352 分辨率（第 6 行）得到的。

我们注意到，随着分辨率的提高，通过进一步提高分辨率获得的性能提升预计会更低，因为它们受原始视频分辨率的限制。 例如，VidSTG 和 HCSTVG2.0 中的平均视频像素高度分别为 440 像素和 490 像素。

快速分支的影响。 最后，我们通过比较最佳变体的时态步幅 $k=4$ 和分辨率 352 的慢速-快速视频-文本编码器与对应于 $f=0$ 和 $g=0$ 的仅慢速变体来验证快速分支的重要性。 在这种情况下，视频-文本特征是慢速视频-文本特征。 通过比较表 3 中的第 6 行和第 7 行，我们的快速分支显着提高了时空视频接地性能（VidSTG 上提高 +2.1% $vIoU\mathrm{@}0.3$，HC-STVG2.0 上提高 +2.9% $vIoU\mathrm{@}0.3$），同时计算内存开销很低。 这表明快速分支恢复了慢速分支中时态采样操作丢失的有用时空细节。 我们进一步消融了快速和聚合模块 $f$ 和 $g$ 的设计，如附录部分 D 所示。

图 5： 在 VidSTG 测试集上，我们的模型预测的时空管（浅黄色）与地面实况（浅绿色）的定性示例。 前三个示例说明了我们方法的成功预测。 在最后一个示例中，该方法将背景中的小运动球与气球混淆。

4.3 与最先进技术的比较

在本节中，我们将我们的方法与时空视频接地领域的最新方法进行比较。 我们报告了在之前的消融研究中获得最佳验证结果的模型的结果，即 i.e.，我们的时空解码器，具有时间编码和时态自注意力机制，时态步幅 $k=4$ 和分辨率 352。 我们工作重点是时空视频接地指标（$m\mathrm{\_}vIoU$ 和 $vIoU\mathrm{@}R$）。 如表 4 所示，仅使用 ImageNet 初始化视觉主干（第 4 行），我们的 TubeDETR 表现出色，尽管使用了较少的注释。 此外，如果我们使用 MDETR 初始化（第 5 行），我们的 TubeDETR 在两个数据集上都大幅超过了所有以前的方法（第 1、2 和 3 行）。 STGRN [102] 达到了类似的 $m\mathrm{\_}tIoU$（仅测量时间定位），但它定义了一组手工制作的可能窗口宽度来解决时间定位问题，而我们考虑所有可能的窗口，即。 任何开始帧 $i$ 和结束帧 $j$，。 这些结果证明了我们架构在时空视频接地方面的优异性能。

4.4 定性示例

我们在图 5 中展示了我们对 VidSTG 测试集预测的定性示例。 这些示例表明，我们的模型能够预测与输入文本查询相关的有意义且准确的时空管。 具体而言，在第一个示例中，我们的模型正确地检测了与猫咬成年人相对应的时间时刻。 在第二个示例中，我们的模型定位了与一个人快速抓取一个非常小的运动球相对应的时空管，在第三个示例中，它能够定位成年人在滑雪时脚下的滑雪板。 但是，如最后一个示例所示，它可能无法理解查询和视频中的细微细节。 注意，气球和球在视觉上和语义上相似。 需要仔细分析才能了解其中的区别。 此外，我们在附录部分 A 中提供了 TubeDETR 不同注意力机制的可视化。

5 结论

我们提出了 TubeDETR，这是一种新颖的基于 Transformer 的时空视频接地架构。 TubeDETR 利用时空 Transformer 解码器结合视频文本编码器来解决此任务，该编码器有效地编码了空间和多模态交互。 我们已经证明了我们的时空解码器的有效性，以及我们的视频文本编码器在性能内存权衡方面的优势。 最后，我们的方法在两个基准 VidSTG 和 HC-STVG 上优于最先进的方法。 未来的工作可以扩展我们的时空解码器，以检测每帧中的多个对象或每个视频中的多个事件。 研究更有效的自注意力替代方案，例如为自然语言研究的那些 [39, 81, 79, 6, 73, 16, 93]，是未来研究的另一个有希望的方向。

致谢。 这项工作获得了 IDRIS 的 HPC 资源访问权限，分配由 GENCI 授予，分配号为 2021-AD011011670R1。 该工作由 Google 赠款、法国政府资助，作为“未来投资”计划的一部分，由法国国家研究署 (Agence Nationale de la Recherche) 管理，参考号为 ANR-19-P3IA-0001 (PRAIRIE 3IA Institute)、路易威登 ENS 人工智能主席、欧洲区域发展基金资助，项目为 IMPACT (注册号   CZ.02.1.01/0.0/0.0/15 003/0000468)。 我们感谢 S. Chen 和 J. Chen 的宝贵讨论，以及 O. Bounou 和 P.-L. Guhur 的校对。

附录

在本附录中，我们在第 A 节中展示了我们时空解码器中不同注意力机制的其他可视化。 第 B 节提供了额外的实现细节。 然后，我们在第 4.2 节中提供了关于 VidSTG 数据集 [102] 的消融实验的详细结果，该数据集按句子类型在第 C 节中进行了划分。 接下来，我们在第 D 节中介绍了我们快速模块和聚合模块的消融实验。 最后，我们在第 E 节中讨论了更广泛的影响。

附录 A 解码器中空间、时间和语言注意力模式的可视化

本节说明了我们时空解码器在图 7 中所示的时空视频定位示例中，在空间、语言和时间上的注意力机制。 对于此示例，视觉模式的时间对齐交叉注意力也显示在图 7 中。 我们注意到，在空间上，每个时间步的注意力特别集中在接球和做手势的人身上。 此外，图 6 说明了文本模态的时间对齐交叉注意力。 我们观察到，单词 adult 和 grabs 是总体上最受关注的，并且不同单词（e.g. sports 和 ball）的注意力权重随时间变化。 ${\widehat{t}}_s$ 和 ${\widehat{t}}_e$ 在图 6 中表示输出管的预测开始和结束时间。 接下来，图 8 说明了时间自注意力。 我们注意到长程时间交互：一定数量的时间查询会关注各种时间上距离较远的时间查询，e.g.位于视频开始处第八帧和第十六帧之间的那些时间查询。

图 6: 时间对齐交叉注意力可视化（文本模态）。 我们时空解码器中不同时间点的时间查询（y 轴）与其时间对齐的视觉上下文文本特征（x 轴）之间的注意力权重可视化。 这些注意力权重是在所有 8 个头和所有 6 个层上平均的，并通过每个时间步（i.e. 每行）的最大权重重新归一化，以便于可视化。 较浅的颜色对应于较高的注意力权重（参见右侧的颜色条）。

图 7: 时间对齐的交叉注意力可视化（视觉模态）。 上排：输入帧，覆盖了预测的（黄色）和真实（绿色）时空管。 下排：我们时空解码器中不同时间点的时间查询与其时间对齐的文本上下文视觉特征之间的注意力权重可视化。 这些注意力权重是在所有 8 个头和所有 6 个层上平均的，并通过每个时间步的最大权重重新归一化，以便于可视化。 每个时间步的注意力特别集中在接球和做手势的人身上。

图 8: 时间自注意力可视化。 可视化我们时空解码器中不同时间查询之间的注意力权重。 列 $t$ 对应于时间查询 $t$ 时不同时间查询的权重。 这些注意力权重是在所有 8 个头和所有 6 层上平均的，并通过每个时间步的（即。 每个列）最大权重进行重新归一化，以进行可视化。 ${\widehat{t}}_s$ 和 ${\widehat{t}}_e$ 表示输出管的预测开始和结束时间。 较浅的颜色对应于较高的注意力权重（参见右侧的颜色条）。

附录 B 其他实现细节

在我们的 Transformer 中，头的数量为 8，前馈层的隐藏维度为 2048。 我们将视觉主干的初始学习率设置为 $1e^{-5}$，并将网络其余部分的学习率设置为 $5e^{-5}$。 学习率遵循文本编码器的线性调度，并进行预热，而网络其余部分的学习率保持恒定。 我们使用 AdamW 优化器 [53] 和权重衰减 $1e^{-4}$。 视频数据增强包括空间随机调整大小，空间随机裁剪（保留框标注）和时间随机裁剪（保留标注的时间间隔）。 在我们的 Transformer 层中应用概率为 0.1 的 Dropout [67]，并在时间定位头中应用概率为 0.5 的 Dropout。 我们使用衰减率为 0.9998 的指数移动平均，以及 16 个视频的有效批次大小。 对于时间步幅 $k=1$，编码器中的快速和聚合模块并不活跃，因为它们的目的是在 $k>1$ 时恢复局部空间和时间信息。

	Time Encoding	Self Attention	Declarative Sentences					Interrogative Sentences
			m_tIoU	m_vIoU	vIoU @0.3	vIoU @0.5	m_sIoU	m_tIoU	m_vIoU	vIoU @0.3	vIoU @0.5	m_sIoU
1.	✗	-	24.4	13.6	17.8	7.3	51.9	23.5	11.1	13.3	5.2	43.1
2.	✗	Temporal	25.3	14.1	18.6	7.3	52.3	25.0	12.1	15.4	5.9	43.3
3.	✓	-	42.1	23.2	31.8	19.5	51.3	41.5	19.7	26.2	15.8	42.5
4.	✓	Temporal	46.4	26.6	36.1	24.7	52.8	45.6	22.5	30.8	19.8	43.6

表 5: 我们时空解码器中的时间编码和时间自注意力对 VidSTG 验证集的影响。

	Pre- Training	Decoder Self- Attention Transfer	Declarative Sentences					Interrogative Sentences
			m_tIoU	m_vIoU	vIoU @0.3	vIoU @0.5	m_sIoU	m_tIoU	m_vIoU	vIoU @0.3	vIoU @0.5	m_sIoU
1.	✗	✗	42.9	19.8	26.7	16.8	41.1	42.8	18.0	23.9	14.6	36.5
2.	✓	✗	44.0	24.5	32.9	21.5	51.5	43.6	20.8	27.5	17.2	42.6
3.	✓	✓	46.4	26.6	36.1	24.7	52.8	45.6	22.5	30.8	19.8	43.6

表 6: 我们模型的权重初始化对 VidSTG 验证集的影响。

	Fast	Res.	Temp. Stride	Declarative Sentences					Interrogative Sentences					Mem. (GB)
				m_tIoU	m_vIoU	vIoU@0.3	vIoU@0.5	m_sIoU	m_tIoU	m_vIoU	vIoU@0.3	vIoU@0.5	m_sIoU
1.	—	224	1	46.9	27.6	37.7	25.7	54.2	46.1	23.3	31.3	20.8	44.9	23.9
2.	✓	224	2	46.6	27.4	38.0	25.7	54.3	45.5	23.0	31.3	20.7	44.7	16.2
3.	✓	224	5	46.4	26.6	36.1	24.7	52.8	45.6	22.5	30.8	19.8	43.6	11.8
4.	✓	288	2	47.0	28.2	38.3	26.3	55.7	46.0	24.1	32.4	22.0	46.3	23.7
5.	✓	320	3	46.9	28.3	39.2	26.4	56.0	45.9	24.0	32.8	21.5	46.4	23.6
6.	✓	352	4	47.2	28.7	39.6	27.1	56.4	46.6	24.2	33.2	21.7	46.2	24.4
7.	✗	352	4	47.1	27.1	37.4	24.1	53.7	46.2	22.9	31.3	19.6	44.0	18.1
8.	✓	384	5	47.4	28.4	38.9	27.0	55.3	46.4	24.0	32.8	21.7	45.6	26.1

表 7: 在 VidSTG 验证集上，比较了不同时间跨度 ($k$)、帧空间分辨率 (Res. ) 以及是否包含快速分支的视频文本编码器，在性能-内存权衡方面的表现。

附录 C 详细的消融实验结果

在本节中，我们提供了 VidSTG 数据集中按句子类型（陈述句，疑问句）细分的详细结果，用于第 4.2 节中介绍的消融实验。

时空解码器。 首先，我们提供对时空解码器的消融实验的详细结果。 对于陈述句和疑问句，分析类似。 具体来说，表 5 表明，与仅使用空间解码器相比，同时使用时间编码和时间自注意力，性能有显著提升（在第 1 行和第 4 行之间，陈述句的 $vIoU\mathrm{@}0.3$ 提高了 18.3%，疑问句的 $vIoU\mathrm{@}0.3$ 提高了 17.5%）。 这种提升主要来自时间定位（陈述句的 $m\mathrm{\_}tIoU$ 提高了 22.0%，疑问句的 $m\mathrm{\_}tIoU$ 提高了 22.1%），而空间定位的提升幅度则相对较小（陈述句的 $m\mathrm{\_}sIoU$ 提高了 0.9%，疑问句的 $m\mathrm{\_}sIoU$ 提高了 0.5%）。 此外，我们可以观察到，时间编码带来了大部分提升（在第 1 行和第 3 行之间，陈述句的 $vIoU\mathrm{@}0.3$ 提高了 14.0%，疑问句的 $vIoU\mathrm{@}0.3$ 提高了 12.9%）。 最后，时间自注意力在仅使用时间编码的基础上进一步提升了性能（在第 3 行和第 4 行之间，陈述句的 $vIoU\mathrm{@}0.3$ 提高了 4.3%，疑问句的 $vIoU\mathrm{@}0.3$ 提高了 4.6%）。

初始化。 现在，我们提供了关于权重初始化消融实验的详细结果。 对陈述句和疑问句的分析是类似的。 具体来说，表 6 显示预训练对于时空视频定位非常有益（在陈述句中，第 1 行和第 3 行之间，$vIoU\mathrm{@}0.3$ 上提升了 +9.4%；在疑问句中，$vIoU\mathrm{@}0.3$ 上提升了 +6.9%）。 收益主要来自空间定位性能（在陈述句中，$m\mathrm{\_}sIoU$ 上提升了 +11.7%；在疑问句中，$m\mathrm{\_}sIoU$ 上提升了 +7.1%）。 此外，我们观察到使用来自 MDETR 解码器的空间自注意力权重来初始化我们解码器中的时间自注意力是有益的（在陈述句中，$vIoU\mathrm{@}0.3$ 上提升了 +3.2%；在疑问句中，$vIoU\mathrm{@}0.3$ 上提升了 +3.3%，第 2 行和第 3 行之间）。

	Slow	Spatial Pool.	f	g	Declarative Sentences					Interrogative Sentences
					m_tIoU	m_vIoU	vIoU@0.3	vIoU@0.5	m_sIoU	m_tIoU	m_vIoU	vIoU@0.3	vIoU@0.5	m_sIoU
1.	✗	✗	Linear	Sum + Linear	42.7	18.6	25.0	14.8	39.6	42.5	16.9	22.0	12.9	35.1
2.	✓	-	0	0	46.2	24.9	34.4	21.8	49.7	45.1	20.9	28.3	17.9	40.5
3.	✓	✓	Linear	Sum + Linear	45.8	25.0	34.7	22.1	50.2	44.9	21.1	29.2	17.8	40.9
4.	✓	✗	Linear	Product + $\sigma$	46.2	26.2	36.0	23.9	52.0	45.4	22.1	30.1	18.8	43.0
5.	✓	✗	Transformer	Sum + Linear	46.4	26.4	36.4	23.8	52.8	45.3	22.2	30.2	19.6	43.3
6.	✓	✗	Linear	Sum + Linear	46.4	26.6	36.1	24.7	52.8	45.6	22.5	30.8	19.8	43.6

表 8: 比较了具有或不具有慢分支、具有或不具有快分支中的空间池化、具有快模块 $f$ 和聚合模块 $g$ 不同变体的视频-文本编码器的设计，在 VidSTG 验证集上。

空间分辨率和时间步幅 $k$ 的影响。 在本节中，我们提供了关于 VidSTG 数据集中关于空间帧分辨率和时间步幅 $k$ 的影响的消融实验的详细结果。 对陈述句和疑问句的分析是类似的。 具体来说，表 7 显示增加分辨率是时空视频定位性能的一个重要因素（参见第 2 行和第 4 行）。 我们提出的视频-文本编码器使我们能够在给定内存使用的情况下训练更高分辨率。 这导致了更好的性能-内存权衡（第 4 行、第 5 行、第 6 行、第 8 行），与具有时间步幅 $k=1$ 的基线变体（第 1 行）相比。 特别是，最好的时空视频定位结果（$m\mathrm{\_}vIoU$ 和 $vIoU\mathrm{@}R$）是在时间步幅 $k=4$ 和分辨率 352（第 6 行）的情况下获得的。

快分支的影响。 最后，我们提供了关于 VidSTG 数据集中关于快分支重要性的消融实验的详细结果，其中我们比较了对于最佳变体，时间步幅 $k=4$ 和分辨率 352，我们的慢快视频-文本编码器与仅慢速的变体。 对声明句和疑问句的分析是相似的。 通过比较表 7 中的第 6 行和第 7 行，我们的快速分支显着提高了时空视频定位性能（声明句提高 +2.2% $vIoU\mathrm{@}0.3$，疑问句提高 +1.9% $vIoU\mathrm{@}0.3$），并且计算内存开销很低。 这表明快速分支恢复了慢速分支中时间采样操作丢失的有用时空细节。

附录 D 其他实验

在本节中，我们提供额外的消融研究。 如第 4.2 节中所述的消融实验，除非另有说明，我们使用 224 像素的空间帧分辨率和时间步长 $k=5$。

快速模块和聚合模块的设计 在这里，我们进一步消融了我们双分支编码器中使用的快速模块 $f$ 和聚合模块 $g$。 我们在表 8 中报告了结果。 我们在第 4.2 节中讨论了我们的慢速-快速设计（第 6 行）和仅慢速变体（第 2 行）之间的比较。 同样，我们将我们的慢速-快速设计与仅快速变体（第 1 行）进行比较。 仅快速变体不使用慢速多模态分支，在这种情况下，视频-文本特征是快速视觉特征与文本特征的串联。 如表 8 所示，我们的慢速-快速设计优于仅快速变体，表明慢速多模态分支的重要性。 我们进一步将快速和聚合模块 $f$ 和 $g$（第 6 行）的设计与其他替代方案进行比较：第 3 行，具有相同基元 $f$ 的变体和 $g$，但 $f$ 对空间维度上汇集的特征进行操作；第 4 行，使用相同的快速模块 $f$ 的变体，但使用门控聚合模块 $g(h_v(v,t),f(v))=\sigma (h_v(v,t)\ast f(v))$，其中 $\sigma$ 是 sigmoid 函数；第 5 行，使用相同聚合模块 $g$ 的变体，但使用快速时间转换器模块 $f$，该模块对空间详细特征之间的时间交互进行建模。 如表 8 所示，我们的设计优于第 3 行，表明为每帧保留空间信息对于快速分支的有效性至关重要。 此外，我们的设计略微优于第 4 行，表明进一步迫使网络使用慢速分支没有帮助。 最后，我们的设计略微优于第 5 行，这表明在我们的编码器中对时间交互的额外建模并不一定有帮助。

附录 E 更广泛的影响

这项工作是对时空视频接地的贡献，其潜在的正面或负面影响取决于应用。 这些模型可用于视频监控，因此会导致使用上的疑问。 另一方面，我们相信这些方法可以提高视觉和语言模型的可解释性，这可能有助于理解它们的一些偏差。 这项工作还消除了在学习这些模型时对内存的使用，因此可以帮助促进开发对环境影响较小的更轻量级模型。