心脏图像分割的深度学习：综述

摘要

近年来，深度学习已成为心脏图像分割中使用最广泛的方法。 在本文中，我们回顾了 100 多篇使用深度学习的心脏图像分割论文，其中涵盖了常见的成像模式，包括磁共振成像 (MRI)、计算机断层扫描 (CT) 和超声 (US) 以及感兴趣的主要解剖结构 (心室、心房和血管）。 此外，还包括公开可用的心脏图像数据集和代码存储库的摘要，为鼓励可重复的研究提供基础。 最后，我们讨论了当前基于深度学习的方法的挑战和局限性（标签的稀缺性、跨不同领域的模型泛化性、可解释性），并提出了未来研究的潜在方向。

1关键字：

人工智能、深度学习、神经网络、心脏图像分割、心脏图像分析、MRI、CT、US

文章类型

审查

图1： 不同成像模式的心脏图像分割任务概述。 为了更好地理解，我们提供了左侧心脏的解剖结构（图片来源：clipart-library.com）。 值得注意的是，为了简单起见，我们列出了应用了深度学习技术的任务，这些任务将在第 4 节中讨论。

2简介

根据世界卫生组织 (WHO) 的数据，心血管疾病 (CVD) 是全球主要死亡原因。 2016 年约有 1790 万人死于心血管疾病，CVD，主要死于心脏病和中风。 这个数字还在逐年增加。 近几十年来，心血管研究和实践取得了重大进展，旨在改善心脏病的诊断和治疗以及降低 CVD 的死亡率。 磁共振成像（MRI）、计算机断层扫描（CT）和超声波（美国）等现代医学影像技术现已广泛应用，能够对心脏解剖结构和功能进行无创定性和定量评估，为诊断、疾病监测、治疗计划和预后提供支持。

特别有趣的是，心脏图像分割是许多应用中重要的第一步。 它将图像划分为许多语义（即解剖学）有意义的区域，基于这些区域可以提取定量测量值，例如心肌质量、壁厚度、左心室 (LV) 和 右心室（RV）容量以及射血分数（EF）等。 通常，心脏图像分割感兴趣的解剖结构包括LV、RV、左心房（LA）、右心房（ RA)和冠状动脉。 图 1 概述了与心脏图像分割相关的典型任务，其中三种最常用模态的应用，即 MRI、CT<显示了 /t3> 和 US。

图2： （一个） 本工作回顾了 2016 年 1 月 1 日至 2019 年 8 月 1 日发表的有关基于深度学习的心脏图像分割方法的论文数量概述。 (二) 过去十年心脏图像分割的公共数据的增加。 CT：计算机断层扫描，MR：磁共振，US：超声波。

在深度学习兴起之前，传统的机器学习技术，例如基于模型的方法（例如主动形状和外观模型）和基于图谱的方法，已被证明在心脏图像分割方面取得了良好的性能（Petitjean等人，2015） ; 彭等人, 2016; Tavakoli 和 Amini, 2013; Lesage 等人, 2009)。 然而，它们通常需要大量的特征工程或先验知识才能达到令人满意的准确性。 相比之下，基于深度学习 (DL) 的算法擅长自动从数据中发现复杂的特征，以进行对象检测和分割。 这些特征是使用通用学习程序以端到端的方式直接从数据中学习的。 这使得基于 DL 的算法易于应用于其他图像分析应用。 受益于先进的计算机硬件（例如图形处理单元（GPU）和张量处理单元（TPU））以及训练可用数据的增加，基于DL的分割算法已经逐渐超越了以前的状态先进的传统方法，在研究中越来越受欢迎。 这种趋势可以在图2A中观察到，该图显示了用于心脏图像分割的基于深度学习的论文数量在过去几年中急剧增加。 特别是，MR图像分割的出版物数量明显高于其他两个领域，尤其是在2017年。 从图 2B 中可以看出，原因之一是 MR 分割的公开数据自 2016 年以来显着增加。

在本文中，我们概述了三种最常用模态（即MRI、CT、 US)在临床实践中的应用，并讨论了当前基于深度学习的分割方法的优点和仍然存在的局限性，这些方法阻碍了广泛的临床部署。 据我们所知，已经有几篇综述论文概述了基于 DL 的一般医学图像分析方法的应用（Greenspan 等人，2016；Shen 等人，2017；Litjens 等人，2017），以及一些专门针对心血管图像分析应用程序的调查（Gandhi 等人，2018；Mazurowski 等人，2019）。 然而，他们都没有提供专注于心脏分割应用的系统概述。 这篇综述论文旨在提供深度学习算法从首次亮相到最先进的全面概述，重点关注各种心脏图像分割任务（例如 LV、 RV 和血管分割）（第 4 节）。 特别是，我们的目标是涵盖该领域截至 2019 年 8 月 1 日发表的最具影响力的DL相关著作，并根据具体方法对这些出版物进行分类。 此外，除了3节中介绍的深度学习基础知识之外，我们还提供了公共数据集的摘要（参见表6)以及公共代码（参见表7)，旨在为该主题的新手提供良好的阅读基础并鼓励未来的贡献。 更重要的是，我们对当前的研究状况（第 4.4 节）以及未来工作的挑战和潜在方向（第 5 节）进行了富有洞察力的讨论。

搜索标准为了识别相关贡献，在 Scopus 和 PubMed 等搜索引擎中查询标题中包含（“卷积”或“深度学习”）和（“心脏”）和（“图像分割”）的论文或摘要。 此外，还根据论文标题检索了 MICCAI、ISBI 和 EMBC 的会议论文集。 不主要关注分割问题的论文被排除在外。 所包含论文的最后一次更新日期为 2019 年 8 月 1 日。

图3： (A) 卷积神经网络 (CNN) 的通用架构。 CNN 将心脏 MR 图像作为输入，通过一堆卷积和池化操作学习分层特征。 然后，这些空间特征图通过全连接层被展平并缩减为向量。 该向量可以有多种形式，具体取决于具体任务。 它可以是一组类的概率（图像分类）或边界框的坐标（对象定位）或输入中心像素的预测标签（基于补丁的分割）或回归任务的实际值（例如左心室容积估计）。 (B) 基于 CNN 分类器的基于块的分割方法。 CNN 将补丁作为输入并输出四个类别的概率，其中得分最高的类别是该补丁中中心像素（参见黄色十字）的预测。 通过将位于不同位置的补丁反复转发到 CNN 中进行分类，最终可以获得整个图像的像素级分割图。 LV：左心室； RV：右心室； BG：背景； Myo：左心室心肌。

3 深度学习基础知识

深度学习模型是深度人工神经网络。 每个神经网络由一个输入层、一个输出层和多个隐藏层组成。 在下一节中，我们将回顾最先进的分割算法中常用的几种深度学习网络和关键技术。 为了更详细、更彻底地说明深度学习的数学背景和基础知识，我们建议感兴趣的读者参考 Goodfellow (2016)。

3.1神经网络

在本节中，我们首先介绍基本的神经网络架构，然后简要介绍通常用于增强网络学习对图像分割有用的特征的能力的构建块。

3.1.1 卷积神经网络（CNN）

在这一部分中，我们将介绍卷积神经网络（CNN），它是图像分析中最常见的深度神经网络类型。 CNN 已成功应用于推进许多图像分类、对象检测和分割任务的最新技术。

如图3A所示，标准CNN由输入层、输出层和中间的一堆功能层组成，这些功能层将输入转换为输出特定形式（例如向量）。 这些功能层通常包含卷积层、池化层和/或全连接层。 一般来说，每个卷积使用 $n\times n$ 内核（对于 2D 输入）或 $n\times n\times n$ 内核（对于 3D 输入），然后进行批量归一化 （Ioffe 和 Szegedy，2015） 之后，输出通过非线性激活函数（例如修正线性单元（ReLU）)，该函数用于从图像中提取特征图。 然后，这些特征图通过池化层进行下采样（通常为 2 倍），从而消除冗余特征以提高统计效率和模型泛化能力。 之后，应用全连接层来减少特征的维度并找到与任务最相关的特征进行推理。 网络的输出是一个固定大小的向量，其中每个元素可以是每个类别的概率分数（用于图像分类）、回归任务的实际值（例如左心室容量估计）或一组值（例如左心室容积估计）。用于对象检测和定位的边界框的坐标）。

一般来说，卷积核$n$的大小一般选择较小，例如$n=3$，以减少计算成本。 虽然内核很小，但可以通过增加卷积层的数量来增加感受野（可能影响特定卷积核/神经元激活的输入图像的区域）。 例如，具有大 $7\times 7$ 内核的卷积层可以替换为具有小 $3\times 3$ 内核的三层。 参数数量减少了 $7^2/(3\times (3^2))\approx 2$ 倍，而感受野保持不变 ($7\times 7$)。 在线资源在这里被引用，它通过改变隐藏层的数量和内核的大小来说明和可视化感受野的变化。 一般来说，增加卷积神经网络的深度（隐藏层的数量）以扩大感受野可以提高模型性能，例如分类精度（Simonyan 和 Zisserman，2015）。

用于图像分类的 CNN 也可以用于图像分割应用，而无需对网络架构进行重大调整（Ciresan 和 Giusti，2012），如图 3B 所示。 然而，这需要将每个图像分成块，然后训练 CNN 来预测每个块的中心像素的类标签。 这种基于补丁的方法的一个主要缺点是，在推理时，必须为每个补丁单独部署网络，尽管由于图像中存在多个重叠补丁而存在大量冗余。 由于这种低效率，具有全连接层的 CNN 的主要应用是对象定位，其目的是估计图像中感兴趣对象的边界框。 然后使用该边界框裁剪图像，形成图像预处理步骤，以减少分割的计算成本（Avendi等人，2016）。 为了实现高效的端到端像素级分割，更常用的是一种称为全卷积神经网络 (FCN) 的 CNN 变体，这将在下一节中讨论。

图4： (A) 用于分割的全卷积神经网络 (FCN) 的通用架构。 FCN首先将整幅图像作为输入，通过编码器学习深层图像特征，通过解码器中的一系列转置卷积层逐渐恢复空间维度，最后预测左心室腔（蓝色部分）的像素级图像分割。区域）、左心室心肌（绿色区域）和右心室（红色区域）。 这种基于 FCN 的心脏分割的一个用例可以在 Tran (2016) 中找到。 (B) U-net示意图. 在FCN的基本结构的基础上，U-net采用“跳跃连接”（灰色箭头）从粗到细聚合特征图。 值得注意的是，为了简单起见，我们减少了下采样和上采样块的数量。 如需详细信息，我们建议读者阅读原始论文（Ronneberger and Brox，2015）。

3.1.2 全卷积神经网络（FCN）

FCN的思想最早由Long等人(2015)提出用于图像分割。 FCN 是一种特殊类型的CNN，它没有任何全连接层。 一般来说，如图4A所示，FCN被设计为具有编码器-解码器结构，使得它们可以接受任意大小的输入并产生具有大小相同。 给定输入图像，编码器首先将输入转换为高级特征表示，而解码器解释特征图并将空间细节恢复回图像空间，通过一系列转置卷积和卷积运算进行像素级预测。 这里，转置卷积用于放大特征图，通常放大 2 倍。 这些转置卷积也可以被反池化层和上采样层替换。 与基于块的 CNN 进行分割相比，FCN 经过训练并应用于整个图像，无需进行块选择（Shelhamer 等人，2017）。

图4A中具有简单编码器-解码器结构的FCN可能仅限于捕获图像中的详细上下文信息以进行精确分割，因为某些特征可能会被池化消除编码器中的层。 已经提出了FCN的几种变体来将特征从编码器传播到解码器，以提高分割精度。 用于生物医学图像分割的 FCN 最著名和最流行的变体是 U-net （Ronneberger 和 Brox，2015）。 在普通FCN（Long等人，2015）的基础上，U-net在编码器和解码器之间采用跳跃连接来恢复下采样路径中的空间上下文损失，从而产生更精确的分割（见图4B）。 几种最先进的心脏图像分割方法已经采用了 U-net 或其 3D 变体，即 3D U-net （Çiçek 等人，2016） 和 3D V-net (Milletari 等人, 2016)作为骨干网络，在多项心脏分割任务中实现了良好的分割精度(Tao 等人, 2019; Isensee 等人, 2017; Xia 等人, 2018 ）。

3.1.3 递归神经网络（RNN）

图5： 用于心脏图像分割的 RNN 示例. 带有弯曲箭头的黄色块代表一个 RNN 模块，它可以记住过去并使用从过去学到的知识来做出当前的决策。 这种类型的网络非常适合连续数据（例如电影 MR 图像和超声波电影）以及体积数据。 在此示例中，网络用于从一堆 2D 心脏 MR 切片中分割心室，这允许传播 z 方向上相邻切片的上下文信息，以获得更好的切片间一致性 （Poudel 等人，2016 ）。

递归神经网络（RNN）是另一种类型的人工神经网络，用于序列数据，例如电影MRI和超声图像序列。 RNN 可以“记住”过去，并使用从过去学到的知识来做出当前的决策，见图5。 例如，给定图像序列，RNN 将第一张图像作为输入，捕获信息以进行预测，然后记住该信息，然后利用该信息来预测下一张图像。 RNN 系列中使用最广泛的两种架构是 LSTM （Hochreiter 和 Schmidhuber，1997 年） 和 门控循环单元 (GRU) (Cho 等人, 2014)，能够对长期记忆进行建模。 心脏分割的一个用例是将 RNN 与 2D FCN 相结合，使组合网络能够捕获相邻切片的信息，以提高分割结果的切片间一致性（Poudel 等人，2016）.

3.1.4 自动编码器（AE）

自动编码器 (AE) 是一种神经网络，旨在在没有监督的情况下从数据中学习紧凑的潜在表示。 自动编码器的典型架构由两个网络组成：编码器网络和用于重建输入的解码器网络，见图6。 由于学习到的表示在原始数据中包含普遍有用的信息，因此许多研究人员采用自动编码器从输入图像或标签中提取一般语义特征或形状信息，然后使用这些特征来指导心脏图像分割（Oktay等人， 2016；施伦珀等人，2018；岳等人，2019）。

图6： 自动编码器的通用架构。 自动编码器采用编码器-解码器结构，其中编码器将输入数据映射到低维潜在表示，解码器解释代码并重建输入。

.

3.1.5 生成对抗网络（GAN）

生成对抗网络（GAN）的概念由Goodfellow等人（2014）提出，用于从噪声中合成图像。 GAN 是一种生成模型，它学习对真实数据的数据分布进行建模，从而能够创建新的图像示例。 如图7A所示，GAN由两个网络组成：生成器网络和鉴别器网络。 在训练过程中，两个网络经过训练相互竞争：生成器生成旨在欺骗鉴别器的假图像，而鉴别器则尝试从假图像中识别真实图像。 这种类型的训练被称为“对抗性训练”，因为这两个模型都将赢得比赛。 该训练方案也可用于训练分割网络。 如图7B所示，生成器被分割网络取代，鉴别器需要将生成的分割图与真实分割图（目标分割图）区分开来。 通过这种方式，分割网络被鼓励产生更多解剖学上合理的分割图（Luc等人，2016；Savioli等人，2018）。

图7： (A)GAN 用于图像合成的概述； （乙） 图像分割对抗训练概述。

3.1.6 用于改进分割的高级构建块

图8： (A) inception 模块的 Naive 版本(Szegedy 等人, 2015)。 在该模块中，将不同大小的卷积核应用于相同的输入以进行多尺度特征融合。 (B) 注意力模块示意图(Vaswani 等人, 2017; Oktay 等人, 2018b). 注意力模块教导网络注意重要特征（例如与解剖学相关的特征）并忽略冗余特征。 (C) 残差单元示意图（He等人, 2016）。 黄色箭头表示残差连接，用于重用前一层的特征。 绿色和橙色块中的数字表示相应的卷积核或池化核的大小。 在这里，为了简单起见，所有图表都是根据原始论文中的插图复制的。

医学图像分割作为定量分析和临床研究的重要步骤，需要像素级的精度。 在过去的几年中，许多研究人员开发了先进的构建模块来学习稳健的、有代表性的特征以进行精确分割。 这些技术已广泛应用于最先进的神经网络（例如 U-net），以提高心脏图像分割性能。 因此，我们为此确定了文献中报道的几种重要技术，并为它们提供了相应的参考文献以供进一步阅读。 这些技术是：

1. 用于隐藏层中多尺度特征聚合的高级卷积模块：

   • Inception模块(Szegedy等人, 2015)，见图8A；

   • 扩张卷积核（Yu and Koltun，2016）；

   • 深度监督（Lee等人，2015）；

   • 空洞空间金字塔池化(Chen 等人, 2017);

2. 自适应卷积核旨在关注重要特征：

   • 注意力单元(Vaswani等人, 2017)，见图8B；

   • 挤压励磁块(Hu 等人, 2018);

3. 层间连接旨在重用先前层的功能：

   • 残差连接(He 等人, 2016)，见图8C；

   • 密集连接（黄等人，2017）。

3.2训练神经网络

在能够执行推理之前，必须对神经网络进行训练。 此训练过程需要一个包含用于训练和测试的成对图像和标签 $\{𝒙,𝒚\}$ 的数据集、一个优化器（例如随机梯度下降、Adam）和一个用于更新模型参数的损失函数。 该函数解释了训练期间每次迭代中网络预测的误差，为优化器通过反向传播更新网络参数提供信号。 训练的目标是找到合适的网络参数值以最小化损失函数。

3.2.1 常见损失函数

对于回归任务（例如心脏定位、钙评分、界标检测、图像重建），最简单的损失函数是均方误差（MSE）：

$${ℒ}_{\text{MSE}}=\frac{1}{n}\sum _{i=1}^n{({𝒚}_i-\widehat{{𝒚}_i})}^2,$$ (1)

其中${𝒚}_i$是目标值的向量，$\widehat{{𝒚}_i}$是预测值的向量； $n$是数据样本的数量。

交叉熵是图像分类和分割任务中最常见的损失。 特别是，分割的交叉熵损失总结了每个类 $c$ 的预测概率输出 $𝒑$ 与其相应的目标分割图 $𝒚$ 之间的逐像素概率误差。 t2>:

$${ℒ}_{\text{CE}}=-\frac{1}{n}\sum _{i=1}^n\sum _{c=1}^C{𝒚}_i^c\log ({𝒑}_i^c),$$ (2)

其中 $C$ 是所有类的数量。 另一个专门为对象分割设计的损失函数称为soft-Dice损失函数（Milletari等人，2016），它在像素级上惩罚预测分割图与其目标图之间的不匹配：

$${ℒ}_{Dice}=1-\frac{2{\sum }_{i=1}^n{\sum }_{c=1}^C{𝒚}_i^c{𝒑}_i^c}{{\sum }_{i=1}^n{\sum }_{c=1}^C({𝒚}_i^c+{𝒑}_i^c)}.$$ (3)

此外，交叉熵或soft-Dice损失还有多种变体，例如加权交叉熵损失（Jang等人，2017；Baumgartner等人，2017）和加权soft-Dice损失损失(Yang 等人, 2017c; Khened 等人, 2019) 用于解决医学图像分割任务中潜在的类别不平衡问题，其中损失项被加权以考虑稀有类别或小对象。

3.2.2 减少过拟合

用于医学图像分析的训练深度网络的最大挑战是过度拟合，因为与深度网络中可学习参数的数量相比，训练图像的数量通常是有限的。 已经开发了多种技术来缓解这个问题。 其中一些技术如下：

• 权重初始化(He 等人, 2015)和权重正则化（即L1/L2正则化）

• 辍学(Srivastava 等人, 2014)

• 集成学习(Kamnitsas 等人, 2017a)

• 通过仿射变换人工生成训练样本来增强数据

• 使用在现有大型数据集上预先训练的模型进行迁移学习。

3.3评估指标

为了定量评估自动分割算法的性能，通常使用三种类型的指标：a）基于体积的指标（例如 Dice度量、Jaccard相似度指数）； b) 基于表面距离的度量（例如平均轮廓距离、豪斯多夫距离）； c) 临床表现指标（例如心室体积和质量）。 对于心脏图像分析中常用临床指标的详细说明，我们推荐彭等人(2016)的综述论文。 在我们的论文中，我们主要根据 Dice 指标报告方法的准确性，以便于比较。 Dice 分数衡量两个结果之间的重叠率（例如自动分割与手动分割），范围从 0（不匹配）到 1（完美匹配）。

4 心脏图像分割的深度学习

表1： 心脏 MRI 分割的代表性深度学习方法总结。 SAX：短轴视图； 2CH：2腔视图； 4CH：4腔视图； ED：舒张末期； ES：收缩末期。

Application	Selected works	Description	Type of Images	Structure(s)
Ventricle Segmentation	FCN-based
	Tran (2016)	2D FCN	SAX	Bi-ventricle
	Lieman-Sifry et al. (2017)	A lightweight FCN (E-Net)	SAX	Bi-ventricle
	Isensee et al. (2017)	2D U-net +3D U-net (ensemble)	SAX	Bi-ventricle
	Jang et al. (2017)	2D M-Net with weighted cross entropy loss	SAX	Bi-ventricle
	Baumgartner et al. (2017)	2D U-net with cross entropy	SAX	Bi-ventricle
	Bai et al. (2018a)	2D FCN trained and verified on a large dataset ($\sim 5000$ subjects);	SAX, 2CH, 4CH	Four chambers
	Tao et al. (2019)	2D U-net trained and verified on a multi-vendor, multi-scanner dataset	SAX	LV
	Khened et al. (2019)	2D Dense U-net with inception module	SAX	Bi-ventricle
	Fahmy et al. (2019)	2D FCN	SAX	LV
	Introducing spatial or temporal context
	Poudel et al. (2016)	2D FCN with RNN to model inter-slice coherency	SAX	Bi-ventricle
	Patravali et al. (2017)	2D multi-channel FCN to aggregate inter-slice information	SAX	Bi-ventricle
	Wolterink et al. (2017c)	Dilated U-net to segment ED and ES simultaneously	SAX	Bi-ventricle
	Applying anatomical constraints
	Oktay et al. (2018a)	FCN trained with additional anatomical shape-based regularization	SAX;US	LV
	Multi-stage networks
	Tan et al. (2017)	Semi-automated method; CNN (localization) followed by another CNN to derive contour parameters	SAX	LV
	Zheng et al. (2018)	FCN (localization) + FCN (segmentation); Propagate labels from adjacent slices	SAX	Bi-ventricle
	Vigneault et al. (2018)	U-net (initial segmentation) + CNN (localization and transformation) + Cascaded U-net (segmentation)	SAX, 2CH, 4CH	Four chambers
	Hybrid segmentation methods
	Avendi et al. (2016, 2017)	CNN (localization) +AE (shape initialization) + Deformable model	SAX	LV; RV
	Yang et al. (2016)	CNN combined with Multi-atlas	SAX	LV
	Ngo et al. (2017)	Level-set based segmentation with Deep belief networks	SAX	LV
Atrial Segmentation	Mortazi et al. (2017b)	Multi-view CNN with adaptive fusion strategy	3D scans	LA
	Xiong et al. (2019)	Patch-based dual-stream 2D FCN	LGE MRI	LA
	Xia et al. (2018)	Two-stage pipeline; 3D U-net (localization) +3D U-net (segmentation)	LGE MRI	LA
Scar Segmentation	Yang et al. (2018b)	Fully automated; Multi-atlas method for LA segmentation followed by an AE to find the atrial scars	LGE MRI	LA; atrial scars
	Chen et al. (2018b)	Fully automated; Multi-view Two-Task Recursive Attention Model	LGE MRI	LA; atrial scars
	Zabihollahy et al. (2018)	Semi-automated; 2D CNN for scar tissue classification	LGE MRI	Myocardial scars
	Moccia et al. (2019)	Semi-automated; 2D FCN for scar segmentation	LGE MRI	Myocardial scars
	Xu et al. (2018a)	Fully automated; RNN for joint motion feature learning and scar segmentaion	cine MRI	Myocardial scars
Aorta Segmentation	Bai et al. (2018b)	RNN to learn temporal coherence; Propagate labels from labeled frames to unlabeled adjacent frames for semi-supervised learning;	cine MRI	Aorta
Whole Heart Segmentation	Yu et al. (2017a)	3D U-net with deep supervision	3D scans	Blood pool+Myocardium of the heart
	Li et al. (2017)	3D FCN with deep supervision	3D scans	Blood pool+Myocardium of the heart
	Wolterink et al. (2017a)	dilated CNN with deep supervision	3D scans	Blood pool+Myocardium of the heart

在本节中，我们总结了三种主要成像模式的基于深度学习的应用：MRI、CT 和 US目标结构的应用。 总的来说，这些基于深度学习的方法为在不同模式下分割特定器官或组织（如 左心室、冠状血管、疤痕）提供了高效和有效的方法，有助于对心血管结构和功能进行后续定量分析。 在这些工作中，很大一部分方法是为心室分割而设计的，特别是在 MR 和 US 领域。 心室分割的目的是描绘 LV 和/或 RV 的心内膜和心外膜。 这些分割图对于得出临床指标非常重要，例如左心室舒张末期容积 (LVEDV)、左心室收缩末期容积 (LVESV)、右心室收缩末期容积 (LVESV)心室舒张末期容积 (RVEDV)、右心室收缩末期容积 (RVESV) 和 EF。 此外，这些分割图对于3D形状分析（Xue等人，2018；Biffi等人，2018）、3D+时间运动分析（Zheng等人，2019）至关重要。 t1> 和生存预测（Bello 等人，2019）。

4.1 心脏 MR 图像分割

心脏 MRI 是一种非侵入性成像技术，可以显示心脏内部和周围的结构。 与CT相比，它不需要电离辐射。 相反，它依靠磁场与射频波结合来激发心脏中的氢核，然后通过测量它们的响应来生成图像。 通过利用不同的成像序列，心脏 MRI 可以准确量化心脏解剖结构和功能（例如电影成像）以及疤痕等病理组织(晚期钆增强 (LGE) 成像）。 因此，心脏 MRI 目前被视为定量心脏分析的金标准（Van Der Geest 和 Reiber，1999）。

一组具有代表性的基于深度学习的心脏MR分割方法如表1所示。 从表中可以看出，大多数工作都集中在分割心室（例如LV、RV、LA)。 相比之下，分割异常心脏组织区域（例如心肌疤痕和心房纤维化）的工作相对较少。 这可能是由于相关公共数据集有限以及任务的难度。 此外，据我们所知，正如最近的一篇调查论文（Karim等人，2018）所表明的那样，将深度学习技术应用于心房壁分割的工作非常少。 在下面的部分中，我们将针对不同的应用详细描述和讨论这些方法。

4.1.1 心室分割

基于 Vanilla FCN 的分割： Tran (2016) 是最早应用FCN (Shelhamer 等人, 2017) 来分割左心室、心肌和右心室的人之一直接在短轴心脏 磁共振 (MR) 图像上观察心室。 他们基于FCN的端到端方法实现了有竞争力的分割性能，在速度和准确性方面显着优于传统方法。 在接下来的几年里，许多基于FCNs的工作被提出，旨在进一步提高分割性能。 在这方面，一个工作重点是优化网络结构，以增强分割的特征学习能力（Khened等人，2019；Li等人，2019b；Zhou和Yang，2019；Zhang等人，2019a； Cong和Zhang，2018；Jang等人，2017；Fahmy等人，2019）。 例如，Khened 等人 (2019) 开发了一个带有 inception 模块的密集 U-net，结合多尺度特征，对具有较大解剖变异性的图像进行稳健分割。 Jang 等人 (2017);杨等人 (2017c);桑德等人 (2019); Chen等人(2019e)研究了不同的损失函数，例如加权交叉熵、加权Dice损失、深度监督损失和焦点损失，以提高分割性能。 在这些基于FCN的方法中，大多数方法使用2D网络而不是3D网络进行分割。 这主要是由于大多数心脏 MR 扫描典型的低平面分辨率和运动伪影，限制了 3D 网络的适用性（Baumgartner 等人，2017）。

引入空间或时间上下文：使用 2D 网络进行心脏分割的一个缺点是这些网络逐片工作，因此它们不利用任何片间依赖性。 因此，2D 网络可能无法在具有挑战性的切片（例如心室轮廓未明确定义的心尖切片和基底切片）上定位和分割心脏。 为了解决这个问题，许多工作尝试引入额外的上下文信息来指导 2D FCN。 该上下文信息可以包括从标签或多视图图像中学习的形状先验（Zotti等人，2017，2019；Chen等人，2019b）。 其他人使用循环单元(RNN)或多切片网络（2.5D 网络）从相邻切片中提取空间信息来辅助分割（Poudel 等人，2016；Patravali 等人，2017 ；杜等人，2019；郑等人，2018）。 这些网络还可以应用于利用心动周期中不同时间帧的信息来提高分割结果的空间和时间一致性（Yan 等人，2018；Savioli 等人，2018；Du 等人，2019；Qin 等人，2018a；Wolterink 等人，2017c)。

应用解剖学约束： 另一个可能限制二维和三维FCN分割性能的问题是，它们通常只使用像素损失函数（如交叉熵或软骰子损失）进行训练。 这些像素级损失函数可能不足以学习代表底层解剖结构的特征。 因此，有几种方法侧重于设计和应用解剖约束来训练网络，以提高其预测准确性和鲁棒性。 这些约束表示为正则化项，其中考虑了拓扑（Clough等人，2019）、轮廓和区域信息（Chen等人，2019g）或形状信息(Oktay 等人, 2018a; Yue 等人, 2019)，鼓励网络生成在解剖学上更合理的分割。 除了在训练时对网络进行正则化之外，Painchaud 等人 (2019) 还提出了一种变分AE来在后处理阶段纠正不准确的分割。

多任务学习：多任务学习也被探索通过执行与主要分割任务相关的辅助任务来规范训练期间基于FCN的心室分割，如运动估计(Qin 等人, 2018b)、心脏功能估计(Dangi 等人, 2018b)、心室大小分类(Zhang 等人, 2018b) ）和图像重建（Chartsias等人，2018；Huang等人，2019）。 同时训练用于多个任务的网络会鼓励网络提取在这些任务中有用的特征，从而提高学习效率和预测准确性。

多级网络：最近，人们对在多级管道中应用神经网络越来越感兴趣，它将分割问题分解为子任务（Vigneault等人，2018；Zheng等人，2018；李等人，2019a；谭等人，2017；。 例如，Zheng 等人 (2018)； Li等人(2019a)提出了一个感兴趣区域（ROI）定位网络，然后是分割网络。 同样，Vigneault 等人 (2018) 提出了一个名为 Omega-Net 的网络，该网络由用于心腔定位的 U-net、用于归一化图像方向的可学习变换模块以及一系列用于心室定位的 U-net 组成。细粒度的分割。 通过显式定位ROI并将输入图像旋转到规范方向，所提出的方法可以更好地推广到具有不同大小和方向的图像。

混合分割方法：另一项工作旨在将神经网络与经典分割方法相结合，例如level-sets (Ngo 等人, 2017; Duan 等人, 2018a), 变形模型 (Avendi 等人, 2016, 2017; Medley 等人, 2019), atlas基于图的方法(Yang 等人, 2016; Rohé 等人, 2017) 和基于图割的方法(Lu 等人, 2019)。 这里，神经网络应用于特征提取和模型初始化阶段，减少了对手动交互的依赖，并提高了后续部署的传统分割方法的分割精度。 例如，Avendi 等人（2016）提出了第一个基于DL的方法之一，用于心脏短轴MR图像中的LV分割。 作者首先应用 CNN 自动检测 LV，然后使用 AE 估计 LV 的形状。 然后使用估计的形状来初始化后续可变形模型以进行形状细化。 因此，所提出的集成变形模型比传统的变形模型收敛得更快，并且分割实现了更高的精度。 在后来的工作中，作者将这种方法扩展到分段 RV （Avendi 等人，2017）。 虽然这些混合方法比以前的非深度学习方法表现出更好的分割精度，但大多数方法仍然需要迭代优化以进行形状细化。 此外，这些方法通常是针对一种特定的解剖结构而设计的。 正如最近的基准研究（Bernard 等人，2018）中指出的，大多数最先进的双心室分割算法都是基于端到端的FCN，允许同时分割LV和RV。

为了更好地说明心脏 MR 图像心室分割的这些进展，我们整理了一系列双心室分割方法，这些方法已在自动心脏诊断挑战 (ACDC) 数据集上进行了训练和测试，报告于表2。 为了便于比较，我们只考虑那些在同一在线测试集（50 名受试者）上评估过的方法。 由于ACDC挑战组织者将在线评估平台向公众开放，因此我们的比较不仅包括原始挑战参与者的方法（总结于Bernard等人的基准研究论文（2018） ))以及挑战后提出的三种分割算法（即 Zotti 等人 (2019); Li 等人 (2019a); Painchaud 等人 (2019))。 通过比较可以看出，排名靠前的算法是Isensee等人(2017)提出的集成方法和Li等人(2019a)提出的两阶段方法，两者都基于FCN。 特别是，与传统的水平集方法（Tziritas and Grinias，2017）相比，即使对于更具挑战性的左心室心肌（Myo）分割，这两种方法也取得了相当高的精度，这表明了强大的能力。基于深度学习的方法。

Methods	Description	LV	Myo	RV
Isensee et al. (2017)	2D U-net +3D U-net (ensemble)	0.950	0.911	0.923
Li et al. (2019a)	Two 2D FCNs for ROI detection and segmentation respectively;	0.944	0.911	0.926
Zotti et al. (2019)	2D GridNet-MD with registered shape prior	0.938	0.894	0.910
Khened et al. (2019)	2D Dense U-net with inception module	0.941	0.894	0.907
Baumgartner et al. (2017)	2D U-net with cross entropy loss	0.937	0.897	0.908
Zotti et al. (2017)	2D GridNet with registered shape prior	0.931	0.890	0.912
Jang et al. (2017)	2D M-Net with weighted cross entropy loss	0.940	0.885	0.907
Painchaud et al. (2019)	FCN followed by an AE for shape correction	0.936	0.889	0.909
Wolterink et al. (2017c)	Multi-input 2D dilated FCN, segmenting paired ED and ES frames simultaneously	0.940	0.885	0.900
Patravali et al. (2017)	2D U-net with a Dice loss	0.920	0.890	0.865
Rohé et al. (2017)	Multi-atlas based method combined with 3D CNN for registration	0.929	0.868	0.881
Tziritas and Grinias (2017)	Level-set +markov random field (MRF); Non-deep learning method	0.907	0.798	0.803
Yang et al. (2017c)	3D FCN with deep supervision	0.820	N/A	0.780

• 请注意，为了简单起见，我们报告了 ED 和 ES 阶段每个结构的平均 Dice 分数。 更详细的不同阶段的比较可以在后测试部分的公共排行榜上找到（https://acdc.creatis.insa-lyon.fr）以及该表中相应的已发表作品。

表2： 在心脏双心室分割挑战（ACDC）数据集上验证了最先进分割方法的分割准确性（Bernard等人，2018） 所有方法均在同一测试集（50 名受试者）上进行评估。 粗体数字是相应结构的最高总体 Dice 值。 LV：左心室，RV：右心室，Myo：左心室心肌； ED：舒张末期； ES：收缩末期。 最后更新：2019.8.1。

4.1.2 心房分割

心房颤动 (AF) 是最常见的心电疾病之一，影响英国约 100 万人。 因此，心房分割在临床中至关重要，可以改善术前心房颤动（AF）消融计划和术后随访评估中心房解剖结构的评估。 此外，心房的分割可以作为LGE图像中疤痕分割和心房纤维化量化的基础。 传统方法如区域生长（Karim等人，2008）和采用强先验的方法（即基于图集的标签融合（Tao等人，2016）和非刚性配准（庄等人，2010）)过去已应用于自动左心房分割。 然而，这些方法的准确性高度依赖于良好的初始化和临时预处理方法，这限制了在临床中的广泛采用。

最近，Bai 等人 (2018a) 和 Vigneault 等人 (2018) 应用 2D FCN 直接分割 LA 和 RA 来自标准 2D 长轴图像，即 2 腔室 (2CH)、4 腔室 (4CH) 视图。 值得注意的是，他们的网络还可以被训练为从二维短轴堆栈中分割心室，而无需对网络架构进行任何修改。 同样，Xiong 等人 (2019)； Preetha 等人 (2018);卞等人 (2018); Chen 等人 (2018a) 应用 2D FCN 以逐片方式从 3D LGE 图像中分割心房，并优化网络结构以增强特征学习。 3D网络(Xia 等人, 2018; Savioli 等人, 2018; Jia 等人, 2018; Vesal 等人, 2018; Li 等人, 2018) 和多视图FCN (Mortazi 等人, 2017b; Yang 等人, 2018a) 也被探索从 3D LGE 图像中捕获 3D 全局信息，以实现准确的心房分割。

特别是，Xia等人（2018）提出了一种全自动两阶段分割框架，其中包含第一个3D U-net，用于从下采样图像中粗略定位心房中心，然后是第二个3D U-net -net 以全分辨率准确分割原始图像裁剪部分的中庭。 他们的多阶段方法既节省内存又准确，在2018 年左心房分割挑战赛 (LASC'18) 中排名第一，在 54 个案例的测试集上评估的平均 Dice 得分为 0.93。

4.1.3 疤痕分割

疤痕表征通常使用LGE MR 成像（一种对比增强的 MR 成像技术）进行。 LGE MR 成像能够识别心肌疤痕和心房纤维化，从而改善心肌梗死和心房颤动的治疗（Kim 等人，1999）。 在深度学习出现之前，疤痕分割通常使用基于强度阈值的方法或对局部强度变化敏感的聚类方法（Zabihollahy等人，2018）。 这些方法的主要局限性是它们通常需要手动分割感兴趣区域以减少搜索空间和计算成本（Carminati等人，2016）。 因此，这些半自动化方法不适合大规模研究或临床部署。

深度学习方法与传统分割方法相结合，用于疤痕分割：Yang 等人 (2017a, 2018b) 应用基于图集的方法来识别左心房，然后应用深度神经网络来识别左心房。检测该区域的纤维化组织。 相对于端到端方法，Chen 等人(2018b)应用深度神经网络来分割左心房和心房疤痕。 特别是，作者采用了带有递归注意模块的多视图 CNN 来融合互补视图的特征，以提高分割精度。 他们的方法使 LA 区域的平均 Dice 得分为 0.90，心房疤痕的平均 Dice 得分为 0.78。

在Fahmy等人（2018）的工作中，作者应用基于U-net的网络从LGE获取的图像同时分割心肌和疤痕患有肥厚型心肌病（HCM）的患者，实现了快速分割速度。 然而，报告的疤痕区域分割精度相对较低（平均 Dice：0.58）。 Zabihollahy 等人 (2018); Moccia 等人 (2019) 采用了半自动化方法，需要手动分割心肌，然后应用 2D 网络来区分疤痕和正常心肌。 他们在测试集上报告了更高的分割精度（平均 Dice $>$0.68）。 目前，全自动疤痕分割仍然是一项具有挑战性的任务，因为患者的梗塞区域可能导致这些对比度增强图像的运动学变异和异常。 有趣的是，Xu 等人（2018a）开发了一种RNN，它利用运动模式从电影MR图像序列中自动描绘心肌梗塞区域，无需造影剂。 与 LGE MR 图像上的手动注释相比，他们的方法获得了 0.90 的总体 Dice 评分，为梗塞评估提供了一种新颖的方法。

4.1.4 主动脉分割

从电影 MR 图像中分割主动脉腔对于主动脉的精确机械和血液动力学表征至关重要。 这项任务的一个常见挑战是主动脉电影图像序列中注释的典型稀疏性，其中仅注释了几帧。 为了解决这个问题，Bai 等人 (2018b) 应用了一种非刚性图像配准方法 (Rueckert 等人, 1999) 将标签从带注释的帧传播到心动周期中未标记的相邻帧，有效地生成可用于进一步训练的伪注释帧。 这种半监督方法在 100 名受试者的测试集中，升主动脉的平均 Dice 指标为 0.96，降主动脉的平均 Dice 指标为 0.95。 此外，与之前基于可变形模型的方法（Herment等人，2010）相比，他们基于FCN和RNN的方法可以直接对整个图像序列执行分割任务，无需显式估计ROI。

4.1.5 整个心脏分割

除了上述针对某一特定结构的分割应用外，深度学习还可以用于分割 3D MR 图像中心脏的主要子结构 （Yu 等人，2017a；Wolterink 等人，2017a；Li 等人，2017；施等人，2018）。 Yu 等人 (2017a) 的早期工作采用 3D 密集 FCN 从 3D MR 扫描中分割心脏中的心肌和血池。 最近，越来越多的方法开始应用深度学习管道来分割更具体的子结构（包括。 3D CT 和 MR 图像中的四个腔室，心肌 (MYO)、主动脉、肺静脉 (PV))。 全心脏分割公共数据集(多模态全心脏分割 (MM-WHS))的可用性促进了这一点。 一般来说，MR 图像的分割任务比 CT 图像的分割任务更难，主要是因为不同扫描仪之间的图像强度分布存在很大差异。 正如庄等人（2019）在最近的基准研究论文中提到的，与 MR 图像相比，深度学习方法通​​常在 CT 图像上实现更好的分割精度。 我们将在下一个 CT 部分中更详细地讨论这些分割方法（参见 4.2.1 节）。

4.2心脏CT图像分割

CT是一种非侵入性成像技术，常规用于疾病诊断和治疗计划。 特别是，心脏 CT 扫描用于评估心脏解剖结构，特别是冠状动脉。 主要的成像方式有两种：非增强 CT 成像和增强冠状动脉 CT 血管造影 (CTA)。 通常，非造影 CT 成像利用组织的密度来生成图像，这样可以轻松地区分使用各种衰减值（例如软组织、钙、脂肪和空气）的不同密度，从而可以估计存在的钙量冠状动脉（Kang等人，2012）。 相比之下，注射造影剂后获得的增强冠状动脉CTA可以提供心室、血管和冠状动脉的良好可视化，并且已被证明可以有效检测非钙化冠状动脉斑块。 在下面的部分中，我们将回顾一些最常用的基于深度学习的心脏 CT 分割方法。 表 3 总结了这些方法。

表3： 心脏 CT 分割所选深度学习方法的总结。

Application	Selected works	Description	Imaging Modality	Structure(s)
Cardiac Substructure Segmentation	Two-step segmentation
	Zreik et al. (2016)	patch based CNN	CTA	LV
	Payer et al. (2018)	a pipeline of two FCNs	MR/CT	WHS
	Tong et al. (2017)	deeply supervised 3D U-net	MR/CT	WHS
	Wang et al. (2018)	two-stage 3D U-net with dynamic ROI extraction	MR/CT	WHS
	Xu et al. (2018b)	faster RCNN and U-net	CT	WHS
	Multi-view CNNs
	Wang and Smedby (2017)	orthogonal 2D U-nets with shape context	MR/CT	WHS
	Mortazi et al. (2017a)	multi-planar FCNs with an adaptive fusion strategy	MR/CT	WHS
	Hybrid loss
	Yang et al. (2017d)	3D U-net with deep supervision	MR/CT	WHS
	Ye et al. (2019)	3D deeply-supervised U-net with multi-depth fusion	CT	WHS
	Others
	Zreik et al. (2018a)	multi-scale FCN	CTA	Myo
	Joyce et al. (2018)	unsupervised segmentation with GANs	MR/CT	LV/RV/Myo
Coronary Artery Segmentation	End-to-end CNNs
	Moeskops et al. (2016)	multi-task CNN	CTA	Vessel
	Merkow et al. (2016)	3D U-net with deep multi-scale supervision	CTA	Vessel
	Lee et al. (2019)	template transformer network	CTA	Vessel
	CNN as pre-/post-processing
	Gülsün et al. (2016)	CNN as path pruning	CTA	coronary artery centerline
	Guo et al. (2019)	multi-task FCN with a minimal patch extractor	CTA	coronary artery centerline
	Shen et al. (2019)	3D FCN with level set	CTA	Vessel
	Others
	Wolterink et al. (2019b)	CNN to estimate direction classification and radius regression	CTA	coronary artery centerline
	Wolterink et al. (2019a)	graph convolutional network	CTA	Vessel
Coronary Artery Calcium and Plaque Segmentation	Two-step segmentation
	Wolterink et al. (2016)	CNN pairs	CTA	CAC
	Lessmann et al. (2016)	multi-view CNNs	CT	CAC
	Lessmann et al. (2017)	two consecutive CNNs	CT	CAC
	Liu et al. (2018)	3D vessel-focused ConvNets	CTA	CAC/NCP/MCP
	Direct segmentation
	Santini et al. (2017)	patch based CNN	CT	CAC
	Shadmi et al. (2018)	U-net and FC DenseNet	CT	CAC
	Zhang et al. (2019c)	U-DenseNet	CT	CAC
	Ma and Zhang (2019)	DenseRAU-net	CT	CAC

4.2.1 心脏亚结构分割

心脏亚结构的准确描绘在心脏功能分析中起着至关重要的作用，提供重要的临床变量，例如EF、心肌质量、壁厚度等。 通常，分割的心脏子结构包括 LV、RV、LA、RA、MYO 、主动脉 (AO) 和肺动脉 (PA)。

两步分割：一组深度学习方法依赖于两步分割过程，其中首先提取ROI，然后将其输入 CNN用于后续分类（Zreik等人，2016；Dormer等人，2018）。 例如，Zreik 等人 (2016) 提出了一种两步 LV 分割过程，其中首先使用以下方法检测 LV 的边界框： (de Vos 等人, 2017) 中描述的方法，然后使用基于补丁的 CNN 在定义的边界框中进行体素分类。 最近，FCN，特别是 U-net （Ronneberger 和 Brox，2015），已成为心脏 CT 分割的首选方法。 Zhuang 等人 (2019) 提供了一组方法的比较(Payer 等人, 2018; Wang 和 Smedby, 2017; Yang 等人, 2017b, d; Tong 等人, 2017 ; Mortazi 等人，2017a) 用于全心脏分割 (WHS)，已在 MM-WHS 挑战中进行了评估。 其中几种方法（Payer等人，2018；Tong等人，2017；Xu等人，2018b；Wang等人，2018）结合了定位网络，可以对心脏进行粗略检测，将 3D FCN 应用于检测到的 ROI 进行分割。 这使得分割网络能够专注于解剖学相关区域，并且已被证明对于整个心脏分割是有效的。 在MM-WHS挑战中，Payer等人（2018）的方法排名第一。 表4总结了在MM-WHS数据集上评估的方法的分割精度之间的比较。 详情请参阅庄等人 (2019)。

表4： 在 MM-WHS 数据集上验证的方法的分割准确性。 训练集包含 20 个 CT 和 20 个 MRI，而测试集包含 40 个 CT 和 40 个 MRI。 报告的数字是 CT 和 MRI 扫描中不同子结构的 Dice 评分 (CT/MRI)。 更详细的比较请参考庄等人(2019)。

Methods	LV	RV	LA	RA	MYO	AO	PA	WHS
Payer et al. (2018)	91.8/91.6	90.9/86.8	92.9/85.5	88.8/88.1	88.1/77.8	93.3/88.8	84.0/73.1	90.8/86.3
Yang et al. (2017b)	92.3/75.0	85.7/75.0	93.0/82.6	87.1/85.9	85.6/65.8	89.4/80.9	83.5/72.6	89.0/78.3
Mortazi et al. (2017a)	90.4/87.1	88.3/83.0	91.6/81.1	83.6/75.9	85.1/74.7	90.7/83.9	78.4/71.5	87.9/81.8
Tong et al. (2017)	89.3/70.2	81.0/68.0	88.9/67.6	81.2/65.4	83.7/62.3	86.8/59.9	69.8/47.0	84.9/67.4
Wang et al. (2018)	80.0/86.3	78.6/84.9	90.4/85.2	79.4/84.0	72.9/74.4	87.4/82.4	64.8/78.8	80.6/83.2
Ye et al. (2019)	94.4/ -	89.5/ -	91.6/ -	87.8/ -	88.9/ -	96.7/ -	86.2/ -	90.7/ -
Xu et al. (2018b)	87.9/ -	90.2/ -	83.2/ -	84.4/ -	82.2/ -	91.3/ -	82.1/ -	85.9/ -

多视图 CNN：另一项研究通过以 2D 方式训练多平面 CNN（轴向、矢状和冠状视图）来利用心脏的体积信息。 示例包括 Wang 和 Smedby (2017) 和 Mortazi 等人 (2017a)，其中三个独立的正交 CNN 被训练来分割不同的视图。 具体来说，Wang 和 Smedby (2017) 在分割细化的框架中额外纳入了形状上下文，而 Mortazi 等人 (2017a) 采用了自适应融合策略来组合多个输出利用来自不同平面的补充信息。

混合损失：多种方法采用混合损失，将不同的损失函数（例如焦点损失、Dice损失和加权分类交叉熵）组合起来来解决类别不平衡问题，例如不同脑室结构之间的体积大小不平衡，并提高分割性能（Yang等人，2017d；Ye等人，2019）。

此外，Zreik等人(2018a)的工作提出了一种通过LV心肌的分割和分析来自动识别冠状动脉显着狭窄患者的方法。 在这项工作中，首先采用多尺度FCN进行心肌分割，然后使用卷积自动编码器来表征LV心肌，然后使用支持向量机（SVM） 根据提取的特征对患者进行分类。

4.2.2 冠状动脉分割

冠状动脉的定量分析是心血管疾病诊断、狭窄分级、血流模拟和手术计划的重要一步（张，2010）。 尽管这个主题已经研究了多年（Lesage等人，2009），但只有少数作品研究了深度学习在这方面的应用。 冠状动脉分割的相关方法主要分为两类：中心线提取和管腔（即血管壁）分割。

CNN 作为后/预处理步骤：由于附近心脏结构和冠状静脉的存在以及心脏 CT 中的运动伪影，冠状动脉中心线提取是一项具有挑战性的任务。一些深度学习方法使用 CNN 作为传统方法的后处理或预处理步骤。 例如，Gülsün 等人 (2016) 将中心线提取公式化为寻找稳态多孔介质流中的最大流动路径，并使用基于学习的分类器估计各向异性容器方向张量以进行流量计算。 然后使用 CNN 分类器来区分真正的冠状动脉中心线和渗入非冠状动脉结构的泄漏。 Guo等人(2019)提出了一种多任务FCN中心线提取方法，可以生成单像素宽的中心线，其中FCN同时预测冠状动脉和上行的中心线距离图和端点置信度图主动脉分割掩模，然后用作后续最小路径提取器的输入，以获得最终的中心线提取结果。 相比之下，与上述使用 CNN 作为预处理或后处理步骤的方法不同，Wolterink 等人 (2019b) 提出通过 3D 扩张 CNN 来解决中心线提取问题，其中 CNN在补丁上进行训练，以直接确定一组离散的可能方向上的后验概率分布，并估计给定点处动脉的半径。

端到端 CNN：对于管腔或血管壁分割，大多数基于深度学习的方法使用端到端 CNN 分割方案来预测密集分割概率图(Moeskops等人, 2016; Merkow 等人, 2016; 黄等人, 2018; 沉等人, 2019)。 特别是，Moeskops等人(2016)提出了一种多任务分割框架，其中单个CNN可以被训练来执行三个不同的任务，包括心脏CTA中的冠状动脉分割和大脑MR图像中的组织分割。 他们表明，这种多模态的多任务分割网络可以实现与单任务网络相当的性能。 Merkow等人(2016)将深度多尺度监督引入3D U-net架构中，实现高效的多尺度特征学习和精确的体素级预测。 此外，形状先验也可以纳入网络（Lee等人，2019；Chen等人，2019h；Duan等人，2018b）。 例如，Lee 等人 (2019) 通过引入模板 Transformer 网络，明确地为血管段强制执行大致管状的形状，通过该网络，可以通过基于网络的配准使形状模板变形，以产生输入图像的精确分割，以及保证拓扑约束。 最近，Wolterink 等人 (2019a) 也研究了图卷积网络用于 CTA 中的冠状动脉分割，其中冠状动脉腔表面网格上的顶点被视为图节点，而这些管状的位置表面网格顶点直接优化。 他们表明，这种方法明显优于在健康受试者上仅使用全连接层的基线网络（平均 Dice 得分：0.75 与 0.67）。 此外，他们工作中使用的图卷积网络能够直接生成平滑的表面网格，无需后处理步骤。

4.2.3 冠状动脉钙和斑块分割

冠状动脉钙化（CAC）是心血管疾病的直接危险因素。 临床上，CAC使用Agatston评分（Agatston等人，1990）进行量化，该评分考虑病变面积和病变的加权最大密度（de Vos等）人，2019）。 因此，CAC的精确检测和分割对于准确预测Agatston评分和疾病诊断非常重要。

两步分割：一组用于分割和自动钙评分的深度学习方法建议使用两步分割方案。 例如，Wolterink 等人 (2016) 尝试使用一对 CNN 对心脏 CTA 中的 CAC 进行分类，其中第一个 CNN 粗略识别出可能是 CAC 的体素在使用（de Vos等人，2017）检测到的ROI内，然后第二个CNN进一步区分CAC和CAC -更准确地喜欢底片。 与这种两阶段方案类似，Lessmann等人(2016, 2017)提出在低剂量胸部CT中识别CAC，其中心脏或心脏的ROI首先对潜在的钙化进行定位，然后进行CAC分类过程。

直接分割：最近，提出了几种方法（Shadmi等人，2018；Santini等人，2017；Ma和Zhang，2019；Zhang等人，2019c）对于从非对比心脏 CT 或胸部 CT 中直接分割 CAC：其中大多数采用 U-net （Ronneberger 和 Brox，2015） 和 DenseNet 的组合(Huang 等人, 2017)对CAC进行精确定量，结果表明灵敏度可以达到90%以上Santini 等人(2017)。 These aforementioned approaches all follow the same workflow where the CAC is first identified and then quantified. 另一种方法是绕过中间分割，直接进行量化，如(Cano-Espinosa 等人, 2018; de Vos 等人, 2019)，已经证明这种方法是有效的和有前途的。

最后，对于冠状动脉中的非钙化斑块（NCP）和混合钙化斑块（MCP），仅报道了有限数量的研究深度学习方法的工作用于分割和量化（Zreik等人，2018b；Liu等人，2018）。 然而，从临床角度来看，这是一项非常重要的任务，因为这些斑块可能会破裂并阻塞动脉，导致缺血事件和严重的心脏损伤。 与 CAC 分割相比，NCP 和 MCP 分割由于其与相邻组织相似的外观和强度而更具挑战性。 因此，稳健且准确的分析通常需要生成已沿血管中心线拉直的多平面重新格式化 (MPR) 图像。 最近，Liu 等人 (2018) 提出了一种具有注意力层的以血管为中心的 3D 卷积网络，用于在提取和重新格式化的冠状动脉 MPR 体积上分割三种类型的斑块。 Zreik等人(2018b)提出了一种自动检测和表征冠状动脉斑块以及确定冠状动脉狭窄显着性的方法，其中多任务卷积RNN用于通过分析 MPR 图像中沿冠状动脉提取的特征来执行斑块和狭窄分类。

4.3心脏超声图像分割

表5： 美国图像分割深度学习方法综述。 A[X]C 是心尖 [X] 腔视图的缩写。 PLAX/PSAX：胸骨旁长轴/短轴。 CETUS：使用心内膜三维超声分割挑战赛的数据集。

Application	Selected works	Method	Structure	Imaging modality
2D LV	Combined with deformable models
	Carneiro et al. (2010, 2012)	DBN with two-step approach: localization and fine segmentation	LV	2D A2C, A4C
	Nascimento and Carneiro (2017)	deep belief networks (DBN) and sparse manifold learning for the localization step	LV	2D A2C, A4C
	Nascimento and Carneiro (2014, 2019)	DBN and sparse manifold learning for one-step segmentation	LV	2D A2C, A4C
	Veni et al. (2018)	FCN (U-net) followed by level-set based deformable model	LV	2D A4C
	Utilizing temporal coherence
	Carneiro and Nascimento (2010, 2013)	DBN and particle filtering for dynamic modeling	LV	2D A2C, A4C
	Jafari et al. (2018)	U-net and LSTM with additional optical flow input	LV	2D A4C
	Utilizing unlabeled data
	Carneiro and Nascimento (2011, 2012)	DBN on-line retrain using external classifier as additional supervision	LV	2D A2C, A4C
	Smistad et al. (2017)	U-Net trained using labels generated by a Kalman filter based method	LV and LA	2D A2C, A4C
	Yu et al. (2017b)	Dynamic CNN fine-tuning with mitral valve tracking to separate LV from LA	Fetal LV	2D
	Jafari et al. (2019)	U-net with TL-net (Girdhar et al., 2016) based shape constraint on unannotated frames	LV	2D A4C
	Utilizing data from multiple domains
	Chen et al. (2016)	FCN trained using annotated data of multiple anatomical structures	Fetal head and LV	2D head, A2-5C
	Trained directly on large datasets
	Smistad et al. (2018)	Real time CNN view-classification and segmentation	LV	2D A2C, A4C
	Leclerc et al. (2018)	U-net trained on a large heterogeneous dataset	LV	2D A4C
3D LV	Dong et al. (2018a)	CNN for 2D coarse segmentation refined by 3D snake model	LV	3D (CETUS)
	Oktay et al. (2018a)	U-net with TL-net based shape constraint	LV	3D (CETUS)
	Dong et al. (2018b)	Atlas-based segmentation using DL registration and adversarial training	LV	3D
Others	Ghesu et al. (2016)	Marginal space learning and adaptive sparse neural network	Aortic valves	3D
	Degel et al. (2018)	V-net with TL-net based shape constraint and GAN-based domain adaptation	LA	3D
	Zhang et al. (2018a)	CNN for view-classification, segmentation and disease detection	Multi-chamber	2D PLAX, PSAX, A2-4C

心脏超声(US)成像，也称为超声心动图，是评估心血管功能不可或缺的临床工具。 由于其便携性、低成本和实时性，在临床上常被用作首选影像学检查。 虽然活动轮廓、水平集和活动形状模型等许多传统方法已被用来自动分割超声图像中的解剖结构（Noble and Boukerroui，2006），但所达到的精度为受到超声成像的各种问题的限制，例如低信噪比、变化的散斑噪声、低图像对比度（尤其是心肌和血池之间）、边缘丢失以及致密肌肉和肋骨等结构投射的阴影。

与心脏 MR 和 CT 一样，最近提出了几种基于 DL 的方法，以提高心脏超声图像分割的准确性和速度。 这些基于深度学习的方法大多数集中于LV分割，只有少数解决主动脉瓣和LA分割问题。 表5中列出了已审查工作的摘要。

4.3.1 2D LV 分割

深度学习与可变形模型相结合：超声心动图的成像质量使得体素组织分类极具挑战性。 为了应对这一挑战，深度学习与可变形模型相结合，用于二维图像中的左心室分割(Carneiro 等人, 2010, 2012; Carneiro and Nascimento, 2010, 2013; Nascimento and Carneiro, 2014, 2019; Veni 等人，2018）。 使用经过训练的深度神经网络提取的特征而不是手工制作的特征来提高准确性和鲁棒性。

有几项工作在两阶段管道中应用了深度学习，首先通过边界框的严格变换来定位目标 ROI，然后在 ROI 内分割目标结构。 这种两级管道减少了分割的搜索区域并提高了整个分割框架的鲁棒性。 Carneiro 等人 (2010, 2012) 首先采用这个DL框架来分割心尖长轴超声心动图中的LV。 该方法使用DBN（Hinton和Salakhutdinov，2006）来预测用于定位的刚性变换参数和用于分割的可变形模型参数。 结果证明了基于DBN的特征提取对图像外观变化的鲁棒性。 Nascimento 和 Carneiro (2017) 通过在刚性检测步骤中使用稀疏流形学习，进一步降低了基于 DBN 的框架的推理复杂度。

为了进一步降低计算复杂度，一些工作一步执行分割，而不采用两阶段方法。 Nascimento 和 Carneiro (2014, 2019) 在分割中应用稀疏流形学习，与之前版本的方法相比，训练和搜索复杂度降低，同时保持相同水平的分割精度。 Veni 等人 (2018) 应用 FCN 来生成粗分割掩模，然后通过基于水平集的方法进一步细化。

利用时间相干性：心脏超声数据通常被记录为图像的时间序列。 多种方法旨在利用时间上接近的帧之间的一致性来提高 LV 分割的准确性和鲁棒性。 Carneiro and Nascimento (2010, 2013)提出了一种基于带有过渡模型的顺序蒙特卡罗（SMC）（或粒子滤波）框架的动态建模方法，其中当前心动时相的分割取决于之前的时相。 结果表明，该方法比之前不考虑时间信息的方法（Carneiro等人，2010）表现更好。 在最近的一项工作中，Jafari 等人 (2018) 结合了 U-net、长短期记忆 (LSTM) 和帧间光流，利用多个帧进行分割一个目标帧，表明整体分割精度有所提高。 该方法还被证明比单帧 U-net 对于序列中的图像质量变化更加稳健。

利用未标记数据：一些工作提出使用基于非深度学习的分割算法来帮助在未标记图像上生成标签，从而有效地增加训练数据量。 为了实现这一目标，Carneiro 和 Nascimento (2011, 2012) 提出了在线再训练策略，其中分段网络 (DBN) 首先使用一小组标记数据进行初始化，然后应用于非标记数据以提出注释。 然后，在用于重新训练网络之前，外部分类器会检查建议的注释。 Smistad 等人 (2017) 使用基于卡尔曼滤波的方法注释的图像训练了 U-net （Smistad 和 Lindseth，2014） 并说明了使用该策略的潜力预训练。 或者，一些工作建议利用未标记的数据而不使用额外的分割算法。 Yu 等人 (2017b) 提出在多个序列的部分标记数据集上训练 CNN，然后使用第一个序列的手动分割对每个单独序列的网络进行微调帧以及 CNN 生成的其他帧的标签。 Jafari 等人 (2019) 提出了一种半监督框架，可以在标记图像和未标记图像上进行训练。 该框架使用额外的生成网络，该网络经过训练可以从分割掩模生成超声图像，作为对序列中未标记帧的额外监督。 生成网络迫使分割网络预测可用于成功生成输入超声图像的分割。

利用来自多个领域的数据：除了利用同一领域中的未标记数据之外，利用来自多个领域的手动注释数据（例如具有各种解剖结构的不同 2D 超声视图）也可以帮助改进一个领域的分割特定域。 Chen 等人 (2016) 提出了一种新颖的基于FCN的网络，利用多域数据来学习通用特征表示。 结合迭代细化方案，该方法在检测和分割方面表现出优于传统数据库引导方法（Georgescu等人，2005），在单训练上训练的FCN域和其他多域训练策略。

直接在大型数据集上训练的深度学习网络:CNN在分割方面的潜力激发了大规模数据集的收集和标记。 此后的几种方法表明，深度学习方法，尤其是基于CNN的方法，能够直接执行准确的分割，而无需复杂的后处理。 Leclerc 等人 (2018) 进行了一项研究，使用简单的 U 网研究注释数据的大小对 2D 超声图像中 LV 分割的影响。 作者证明，U-net 方法可以从大量训练数据中受益匪浅。 此外，Smistad 等人 (2018) 通过成功执行实时视图分类和分割，展示了基于 CNN 的方法的效率。

4.3.23D LV 分割

在 3D 超声中分割心脏结构比 2D 超声更具挑战性。 虽然有可能获得更准确的体积相关临床指标，但与 2D 超声心动图相比，3D 超声心动图的时间分辨率较低，图像质量较低。 此外，3D 图像极大地增加了神经网络参数空间的维度，这给深度学习方法带来了计算挑战。

降低计算成本的一种方法是避免在深度学习网络中直接处理 3D 数据。 Dong 等人 (2018a) 提出了一种两阶段方法，首先应用 2D CNN 在 3D 体积的 2D 切片上生成粗分割图。 粗略的2D分割图用于初始化3D形状模型，然后通过3D变形模型方法（Kass等人，1988）对其进行细化。 此外，作者利用迁移学习在大型自然图像分割数据集上预训练网络，然后针对 LV 分割任务进行微调，从而回避了训练数据有限的问题。

解剖形状先验已被用来提高基于深度学习的分割方法的鲁棒性，以应对具有挑战性的 3D 超声图像。 Oktay 等人 (2018a) 提出了一种解剖学约束网络，其中引入基于形状约束的损失来训练 3D 分割网络。 形状约束基于使用自动编码器从分割图中先学习到的形状（Girdhar等人，2016）。 Dong 等人 (2018b) 通过将神经网络与传统的基于图集的分割框架相结合，更明确地利用了形状先验。 对抗训练也被用来鼓励该方法生成更多解剖学上合理的分割图，这有助于其比标准体素分类 3D 分割网络（Milletari 等人，2016） 更优越的分割性能。

4.3.3 左心房分割

Degel等人(2018)在3D LA分割中采用了上述解剖学约束，以解决由于成像设备、协议和患者状况变化引起的域移位问题。 除了解剖学约束网络之外，作者还应用了对抗性训练方案（Kamnitsas 等人，2017b）来提高模型对未知领域的泛化能力。

4.3.4 多室分割

除了左室分割外，还有一些作品（Zhang 等人，2018a；Smistad 等人，2017；Leclerc 等人，2019）应用深度学习方法进行多腔室分割（包括LV 和 LA)分段。 特别是，Zhang等人(2018a)展示了CNN在视图分类、多腔分割和心血管疾病检测三个任务上的适用性。 对大型（非公开）临床数据集的综合验证表明，自动分割得出的临床指标与手动分割相当或优于手动分割。 为了模拟真实的临床情况，从而鼓励开发和评估稳健且临床有效的分割方法，最近公开了二维心脏超声的大规模数据集（Leclerc 等人，2019）。 该数据集和评估平台是在深度学习方法的预备知识数据需求调查（Leclerc等人，2018）之后发布的。 该数据集由心尖 4 腔视图图像组成，注释为 LV 和 LA 分割，来自 500 名不同病情患者的成像质量参差不齐。 值得注意的是，该数据集的初始基准测试（Leclerc等人，2019）表明，现代编码器-解码器 CNN 产生的误差低于人类心脏病专家之间的观察者间误差。

4.3.5 主动脉瓣分割

Ghesu 等人 (2016) 提出了一个基于边缘空间学习（MSL）、深度神经网络（DNN）和主动学习的框架形状模型 (ASM) 在 3D 心脏超声体积中分割主动脉瓣。 使用参数数量减少的自适应稀疏连接神经网络来预测边界框以定位目标结构，其中边界框参数的学习被边缘化到子空间中以降低计算复杂度。 该框架比之前的非深度学习MSL（Zheng等人，2008）方法有了显着的改进，同时实现了有竞争力的运行时间。

4.4讨论

到目前为止，我们已经介绍并讨论了基于深度学习的分割方法在心血管疾病评估中常用的三种模式（即 MR、CT、US）的最新进展。 总而言之，当前最先进的分割方法主要基于采用FCN或U-net架构的CNN。 此外，基于 FCN 的心脏分割方法有几个共同点，可分为四组：1）通过在网络中采用高级构建块（例如 inception 模块、扩张卷积）来增强网络特征学习，其中大多数具有前面已经提到过（第 7 节）； 2）通过高级损失函数（例如加权损失函数）缓解类别不平衡问题； 3）通过多级管道、多任务学习或多视图特征融合来提高网络的泛化能力和鲁棒性； 4）通过合并形状先验、应用对抗性损失或解剖学约束来在训练期间规范网络，迫使网络生成更符合解剖学合理的分割结果。 还值得强调的是，对于心脏图像序列分割（例如电影 MR 图像、2D US 序列），通过先进的神经网络（例如 RNN （Bai 等人，2018b；Jafari 等）利用这些序列的空间和时间相干性人, 2018)，多切片 FCN (Zheng 等人, 2018)) 已被探索并被证明有利于提高分割图的分割精度和时间一致性。

虽然文献中报告的结果表明神经网络变得更加复杂和强大，但很明显，随着公开训练科目的增加，性能也得到了提高。 许多基于深度学习的方法（尤其是 MRI）已经在公共挑战数据集上进行了训练和测试，这不仅提供了大量数据来利用该领域的深度学习能力，而且还提供了透明评估和比较的平台。 此外，这些挑战的许多参与者都通过开源社区网站（例如 Github）与其他研究人员分享了他们的代码。 透明、公平的基准测试和代码共享对于该领域的持续进步至关重要。 我们总结了表6中现有的公共数据集和表7中的公共代码存储库以供参考。

表6： 三种模式心脏分割的公共数据集摘要。 大部分来自MICCAI社团。

Dataset Name/Reference	Year	Main modalities	#	Target(s)	Main Pathology
York (Andreopoulos and Tsotsos, 2008)	2008	cine MRI	33	LV	cardiomyopathy, aortic regurgitation, enlarged ventricles and ischemia
Sunnybrook (Radau and Others, 2009)	2009	cine MRI	45	LV	hypertrophy, heart failure w./w.o infarction
LVSC (Suinesiaputra et al., 2014)	2011	cine MRI	200	LV	coronary artery disease, myocardial infarction.
RVSC (Petitjean et al., 2015)	2012	cine MRI	48	RV	myocarditis, ischaemic cardiomyopathy, suspicion of arrhythmogenic, right ventricular dysplasia, dilated cardiomyopathy, hypertrophic cardiomyopathy, aortic stenosis
cDEMRIS (Karim et al., 2013)	2012	LGE MRI	60	LA fibrosis and scar	atrial fibrillation
LVIC (Karim et al., 2016)	2012	LGE MRI	30	Myocardial scars	ischaemic cardiomyopathy
LASC’13 (Tobon-Gomez et al., 2015)	2013	3D MRI	30	LA	N/A
HVSMR (Pace et al., 2015)	2016	3D MRI	4	Blood pool, MYO	congenital heart defects
ACDC (Bernard et al., 2018)	2017	MRI	150	LV; RV	mycardial infarction, dilated/ hypertrophic cardiomyopathy, abnormal RV
LASC’18 (Zhao, 2018)	2018	LGE MRI	150	LA	atrial fibrillation
MM-WHS (Zhuang et al., 2019)	2017	CT/MRI	60/60	WHS	myocardium infarction, atrial fibrillation, tricuspid regurgitation, aortic valve stenosis, Alagille syndrome, Williams syndrome, dilated cardiomyopathy, aortic coarctation, Tetralogy of Fallot
CAT08 (Schaap et al., 2009)	2008	CTA	32	Coronary artery centerline	Patients with presence of calcium scored as absent, modest or severe.
CLS12 (Kirişli et al., 2013)	2012	CTA	48	Coronary lumen and stenosis	Patients with different levels of coronary artery stenoses.
CETUS (Bernard et al., 2016)	2014	3D US	45	LV	myocardial infarction, dilated cardiomyopathy
CAMUS (Leclerc et al., 2019)	2019	2D US	500	LV, LA	Patients with EF

表7： 基于深度学习的心脏图像分割的公共代码。 SAX：短轴视图； WHS：整个心脏分割。

Modality	Application(s)	Authors	Basic Network	Code Repo (If not specified, the repository is located under github.com)
MR (SAX)	Bi-ventricular Segmentation	Tran (2016)	2D FCN	vuptran/cardiac-segmentation
MR (SAX)	Bi-ventricular Segmentation	Baumgartner et al. (2017)	2D/3D U-net	baumgach/acdc_segmenter
MR (SAX)	Bi-ventricular Segmentation; 1st rank in ACDC challenge	Isensee et al. (2017)	2D+3D U-net (ensemble)	MIC-DKFZ/ACDC2017
MR (SAX)	Bi-ventricular Segmentation	Zheng et al. (2018)	cascaded 2D U-net	julien-zheng/CardiacSegmentationPropagation
MR (SAX)	Bi-ventricular segmentation and Motion Estimation	Qin et al. (2018a)	2D FCN, RNN	cq615
MR (SAX)	Biventricular Segmentation	Khened et al. (2019)	2D U-net	mahendrakhened
MR (3D scans)	Blood pool+MYO Segmentation	Yu et al. (2017a)	3D CNN	yulequan/HeartSeg
MR (Multi-view)	Four-chamber Segmentation and Aorta Segmentation	Bai et al. (2018a, b)	2D FCN, RNN	baiwenjia/ukbb_cardiac
MR	Cardiac Segmentation and Motion Tracking	Duan et al. (2019)	2.5D FCN +Atlas-based	j-duan/4Dsegment
LGE MRI	Left Atrial Segmentation	Chen et al. (2018a)	2D U-net	cherise215/atria_segmentation_2018
LGE MRI	Left Atrial Segmentation	Yu et al. (2019)	3D V-net	yulequan/UA-MT
CT	WHS	Yang et al. (2017d)	3D U-net	xy0806/miccai17-mmwhs-hybrid
CT	WHS	Xu et al. (2018b)	Faster RCNN, 3D U-net	Wuziyi616/CFUN
CT, MRI	Coronary arteries	Merkow et al. (2016)	3D U-net	jmerkow/I2I
CT, MRI	WHS	Dou et al. (2018, 2019)	2D CNN	carrenD/Medical-Cross-Modality-Domain-Adaptation
CT, MRI	WHS	Chen et al. (2019c)	2D CNN	cchen-cc/SIFA
US	View Classification and Four-chamber Segmentation	Zhang et al. (2018a)	2D U-net	bitbucket.org/rahuldeo/echocv

2D 网络与 3D 网络： 表7支持的一个有趣的结论是，目标图像类型可以影响网络结构（即2D网络、3D网络）的选择。 对于 LGE-MRI 和 CT 图像等 3D 成像采集，3D 网络是首选，而 2D 网络是分割心脏电影短轴或长轴图像堆栈的更流行的方法。 使用 2D 网络分割短轴或长轴图像的原因之一是它们通常具有较大的切片厚度（通常约为 7-8 毫米），切片间间隙可能会进一步加剧这种情况。 此外，不同切片之间与屏气相关的运动伪影可能会对 3D 网络产生负面影响。 Baumgartner 等人 (2017) 进行的一项研究表明，在 ACDC 挑战数据集上进行评估时，3D U-net 的性能比 2D U-net 差。 相比之下，在表6提到的使用高分辨率3D图像的LASC'18挑战中，大多数参与者都应用了3D网络，并且基于3D U-的级联网络实现了最佳性能net (夏等人, 2018).

众所周知，训练 3D 网络比训练 2D 网络更困难。 一般来说，3D 网络比 2D 网络具有更多的参数。 因此，3D 网络的优化难度更大，计算训练成本更高，而且容易出现过度拟合，尤其是在数据有限的情况下。 因此，一些研究人员尝试仔细设计网络结构以减少特定应用的参数数量，并应用先进技术（例如深度监督）来缓解过拟合问题(Yu 等人，2017a；夏等人，2018）。 因此，基于 2D 的网络（例如 2D U-net）仍然是所有三种模式中最流行的分割方法。

除了 2D 和 3D 网络之外，一些作者还提出了“2D+”网络，该网络已被证明可以有效地从心脏体积数据中分割结构。 这些“2D+”网络主要基于 2D 网络，但通过增加利用 3D 上下文的能力进行了调整。 这些网络包括利用多平面信息（即冠状、矢状、轴向视图）的多视图网络（Mortazi 等人，2017b；Wang 和 Smedby，2017）、多切片网络和 2D FCN 与 RNN 相结合，其中包含跨多个切片的上下文(Duan 等人, 2019; Patravali 等人, 2017; Poudel 等人, 2016; Du 等人, 2019)。 这些“2D+”网络继承了 2D 网络的优势，同时仍然能够利用平面空间上下文来实现更强大的分割，并具有强大的 3D 一致性。

5 挑战和未来的工作

从文献中可以明显看出，深度学习方法在各种心脏分割应用中已经达到或超过了以前的最先进水平，这主要得益于公共数据集规模的增加以及先进网络架构和强大计算硬件的出现。 鉴于这一快速过程，人们可能想知道深度学习方法是否可以直接部署到现实世界的应用中，以减少临床医生的工作量。 目前的文献表明，还有很长的路要走。 在以下段落中，我们总结了心脏分割领域的几个主要挑战以及最近提出的一些试图解决这些挑战的方法。 这些挑战和相关工作也为该领域的未来工作提供了潜在的研究方向。

5.1 标签稀缺

深度学习方法面临的最大挑战之一是注释数据的稀缺。 在这篇综述中，我们发现大多数研究都使用完全监督的方法来训练其网络，这需要大量带注释的图像。 事实上，注释心脏图像非常耗时，并且通常需要大量的专业知识。 虽然裁剪、填充和几何变换（例如仿射变换）等数据增强技术可用于增加训练样本的大小，但它们的多样性可能仍然有限，无法反映真实世界数据分布的频谱。 已经提出了几种方法来克服这一挑战。 这些方法可以分为四类：微调迁移学习、弱监督和半监督学习、自监督学习和无监督学习。

• 通过微调进行迁移学习。 迁移学习的目的是重复使用针对一项任务预先训练的模型作为训练第二项任务的起点。 迁移学习的关键是学习第一个任务中与第二个任务相关的特征，使得网络即使在数据有限的情况下也能快速收敛。 几位研究人员成功演示了使用迁移学习来提高不同扫描仪上心室分割的模型泛化能力，他们首先在大型数据集上训练模型，然后在小型数据集上对其进行微调（Bai等人，2018a；Khened 等人，2019；Fahmy 等人，2019f)。

• 弱监督学习和半监督学习。 弱监督和半监督学习方法旨在通过利用标记和未标记或弱标记数据（例如涂鸦或边界框形式的注释）来提高学习准确性。 在这种背景下，已经提出了一些用于 MR 图像中心室分割的工作。 一种方法是估计未标记或弱标记图像上的完整标签以进行进一步训练。 例如，Bai 等人 (2018b)； qin 等人 (2018a) 利用运动信息在心动周期中将标签从标记帧传播到未标记帧，而 Bai 等人 (2017); Can 等人 (2018) 应用期望最大化（EM）算法来递归地预测和细化估计的标签。 其他人在未标记图像上训练时探索了不同的方法来规范网络，应用多任务学习（Chartsias等人，2018）或全局约束（Kervadec等人，2019）（Kervadec等人，2019） t1>.

• 自我监督学习。 另一种方法是自我监督学习，旨在利用自动生成而无需人工干预的标签。 这些标签旨在对对象的某些属性或语义进行编码，可以提供强大的监督信号，以便在针对给定任务进行微调之前对网络进行预训练。 Bai 等人 (2019) 最近的一项工作展示了自监督学习对于心脏 MR 图像分割的有效性，其中作者使用自动生成的解剖位置标签来预训练分割网络。 与从头开始训练的网络相比，在自监督任务上预训练的网络表现更好，尤其是在数据极其有限的情况下。

• 无监督学习。 无监督学习的目的是在没有配对标记数据的情况下进行学习。 与前三类相比，关于心脏图像分割的无监督学习方法的文献有限，可能是因为任务的难度。 早期的尝试是应用对抗训练来训练从 CT 和 MR 图像中分割 LV 和 RV 的网络，而不需要一组配对图像和标签 （Joyce 等人，2018）。

除了利用未标记的图像进行训练神经网络外，另一个有趣的方向是主动学习（Mahapatra等人，2018），它试图从大规模数据集中选择最具代表性的图像，减少冗余的标记工作量和训练成本。 该技术也与增量学习有关，增量学习旨在通过增量添加新类来提高模型性能，同时避免整体性能急剧下降（Castro等人，2018）。 考虑到可用医学数据集的规模不断增加，以及标记和存储来自各种来源的大量图像的实际挑战，开发能够将大规模心脏数据集提炼成包含最多信息的小型数据集的算法非常有意义。标签和训练的代表性案例。

5.2跨各种成像方式、扫描仪和病理学的模型泛化。

基于深度学习的方法的另一个常见限制是，当呈现以前未见过的样本时（例如，来自新扫描仪的数据、未包含在训练集中的异常和病理病例），它们仍然缺乏泛化能力。 换句话说，深度学习模型往往会受到各自训练数据集的影响。 这种限制阻碍了模型在现实世界中的部署，因此削弱了它们对改善临床工作流程的影响。 为了提高从多个供应商和多个扫描仪获取的 MR 图像的模型性能，Tao 等人 (2019) 收集了来自心血管疾病患者的大型多供应商、多中心、异构标记训练集。 然而，这种方法可能无法扩展到现实世界，因为它意味着收集涵盖所有可能情况的庞大数据集。 此外，它仍然面临着前面提到的收集和标签挑战。

无监督域适应。 一些研究人员最近开始研究无监督域适应技术的使用，旨在优化未见过的数据集上的模型性能，而无需额外的标记成本。 一些工作已成功地将对抗性训练应用于跨模态分割任务，将从 MR 图像学习到的​​心脏分割模型应用于 CT 图像，反之亦然 (Dou 等人, 2018, 2019; Ouyang 等人, 2019; Chen 等人，2019c)。 这些类型的方法也可以用于半监督学习，其中目标域是一组新的相同模态的未标记数据（Chen等人，2019d）。

数据增强。 另一种简单而有效的方法是数据增强。 主要思想是增加训练图像的多样性，使训练集分布更接近现实世界中的测试集分布。 一般来说，这种类型的增强是通过对现有图像标签对应用一系列几何或光度变换​​来实现的。 最近，Chen 等人 (2019a) 提出了一种数据归一化和增强流程，使从单扫描仪数据集训练的用于心脏 MR 图像分割的神经网络能够在多扫描仪和多扫描仪上很好地推广。站点数据集。 Zhang 等人 (2019b) 应用了类似的数据增强方法来提高模型对未见过的数据集的泛化能力。 他们的方法已在三项任务上得到验证，包括 3D MRI 的左心房分割和 3D 超声图像的左心室分割。 然而，有效地设计这样的管道需要专业知识，而这可能不容易扩展到其他应用程序。 最近，一些研究人员开始研究生成模型（例如 GAN、变分 AE （Kingma 和 Welling，2013）)、强化学习 （Cubuk等人，2019）和对抗性示例生成（Volpi等人，2018），旨在从现有数据中直接学习数据增强策略。 特别是，基于生成模型的方法已被证明对于一次性脑分割（Zhao等人，2019）和少样本心脏MR图像分割（Chaitanya等人， 2019），因此值得探索未来更多的应用。

5.3 缺乏模型可解释性

与符号人工智能系统不同，深度学习系统难以解释且不透明。 一旦网络经过训练，它的行为就像一个“黑匣子”，提供无法直接解释的预测。 这个问题使得模型不可预测，难以进行模型验证，最终变得不可信。 最近的研究表明，基于深度学习的视觉识别系统可能会受到经过几乎难以察觉的扰动修改的图像的攻击（Szegedy 等人，2014；Kurakin 等人，2017；Goodfellow 等人，2015）。 这些攻击也可能发生在医疗场景中，例如正如最近的一篇论文（Finlayson等人，2019）所证明的那样，基于DL的系统可能会在给定具有对抗性噪声甚至只是小旋转的图像的情况下做出错误的诊断。 尽管不可否认深度学习已成为图像分析的非常强大的工具，但构建对潜在攻击具有鲁棒性的弹性算法仍然是一个未解决的问题。 一种潜在的解决方案不是将弹性构建到模型中，而是提高对已部署网络的故障意识。 这可以通过向用户提供分割质量分数（Robinson等人，2019）或置信度图（例如不确定性图（Sander等人，2019）和注意力图（Sander等人，2019）)来实现。 t2>（Heo等人，2018）。 这些分数或地图可以用作故障发生时提醒用户的证据。 例如，Sander 等人 (2019) 构建了一个网络，能够同时预测心脏结构的分割掩模及其相关的空间不确定性图，其中后者可用于突出显示潜在的不正确区域。 这种不确定性信息可以提醒人类专家在人机交互环境中进行进一步的论证和完善。

5.4未来的工作

智能成像。 我们已经证明，基于深度学习的方法能够高精度地实时分割图像。 然而，这些算法仍然可能在图像质量低或伪影严重的图像采集中失败。 尽管已经开发了几种算法来避免这个问题，通过在后续研究之前检查图像质量（Ruijsink等人，2019；Tarroni等人，2019），或者预测分割质量以检测（Peng和Zhang，2012；Robinson等人，2019；Zhou等人，2019），开发能够提供即时反馈以纠正和优化图像采集过程的算法也很重要，尽管较少探索过。 提高成像质量可以大大提高医学成像的有效性以及影像诊断的准确性。 然而，对于放射科医生来说，找到扫描每位患者的最佳成像和重建参数可能需要花费大量时间。 因此，非常需要一种基于DL的系统，能够以更少的噪声高效且有效地提高图像质量。 一些研究人员利用基于学习的方法（大多数是基于深度学习的）来获得更好的图像分辨率（Oktay等人，2016），视图规划（Alansary等人，2018）、运动校正(Dangi 等人, 2018a; Tarroni 等人, 2018)、伪影减少(Oksuz 等人, 2019)、阴影检测(Meng 等人, 2019) 和图像采集后的降噪(Wolterink 等人, 2017b)。 然而，将这些算法与分割算法相结合，并将它们无缝集成到高效的、针对患者的成像系统中，以进行高质量的图像分析和诊断仍然是一个开放的挑战。 另一种方法是直接根据欠采样的 k 空间数据预测心脏分割图，以加速整个过程，从而绕过图像重建阶段（Schlemper 等人，2018）。

数据统一。 许多研究报告了不同心脏图像数据集之间存在标签缺失和标签协议不一致的问题（Zheng等人，2018；Chen等人，2019a）。 在定义基底切片末端以及心肌心内膜壁时发现了变化（有些包括乳头肌作为心内膜轮廓的一部分，而另一些则不包括）。 这些不一致可能成为将从一个领域（例如医院）训练的深度学习模型转移、评估和部署到另一个领域的主要障碍。 因此，构建像 CheXpert (Irvin 等人，2019) 这样的标准基准数据集 1) 足够大，足以拥有反映现实世界多样性的大量数据多样性; 2）拥有一个经专家认可的标准标签协议，确实是需要的。 然而，直接从头开始构建这样的数据集既耗时又昂贵。 一种更有前途的方法可能是开发一种自动化工具来组合来自多个来源的现有数据集，然后将它们协调为统一的高质量数据集。 该工具不仅可以打开众包之门，还可以快速部署那些基于DL的细分模型。

数据隐私。 由于深度学习是一种数据驱动的方法，因此不可避免且普遍存在数据隐私问题。 通用数据保护条例 (GDPR) 等法规现在在保护用户隐私方面发挥着重要作用，并迫使组织认真对待数据所有权。 另一方面，从技术角度来看，如何存储、查询和处理数据，使得构建深度学习系统不存在隐私问题，现在已经成为一个更加困难但有趣的挑战。 构建隐私保护算法需要将密码学和深度学习结合起来，混合数据分析、分布式计算、联邦学习、差分隐私等多种学科的技术，以实现安全性强、运行时间快的模型，并且具有很强的泛化性（Dwork and Roth, 2014; Abadi 等人, 2016; Bonawitz 等人, 2017; Ryffel 等人, 2018）。 对此，Papernot (2018)发布了一份指导报告，总结了一套提高机器学习系统隐私和安全性的最佳实践。 然而，这个领域仍处于起步阶段。

6结论

在这篇综述论文中，我们全面概述了三种常见成像模式（MRI、CT、US）中使用的深度学习技术，涵盖了各种现有的专为分割而设计的深度学习方法（大多数是基于 CNN 的）不同的心脏解剖结构（例如心室、心房、血管）。 特别是，我们介绍并讨论了三种模式中基于深度学习的分割方法的最新进展，概述了这些基于深度学习的心脏分割方法的未来潜力以及可能阻碍广泛临床部署的剩余局限性。 我们希望这篇综述能够提供对那些对心脏图像分割做出重大贡献的基于深度学习的技术的直观理解，并提高对该领域需要未来贡献的常见挑战的认识。

缩写

影像相关术语： CT：计算机断层扫描； CTA：计算机断层扫描血管造影； LAX：长轴； MPR：多平面重新格式化； MR：磁共振； MRI：磁共振成像； LGE：后期钆增强； RFCA：射频导管消融术； SAX：短轴；美国：超声波； 2CH：2室； 3CH：3室； 4CH：4 室。
心脏结构及指标： AF：心房颤动； AS：主动脉瓣狭窄； AO：主动脉； CVD：心血管疾病； CAC：冠状动脉钙； DCM：扩张型心肌病； ED：舒张末期； ES：收缩末期； EF：射血分数； HCM：肥厚型心肌病； LA：左心房； LV：左心室； LVEDV：左心室舒张末期容积； LVESV：左心室收缩末期容积； MCP：混合钙化斑块； MI：心肌梗塞； MYO：心肌； NCP：非钙化斑块； PA：肺动脉； PV：肺静脉； RA：右心房； RV：右心室； RVEDV：右心室舒张末期容积； RVESV：右心室收缩末期容积； RVEF：右心室射血分数； WHS：整个心脏分割。
机器学习术语： AE：自动编码器； ASM：主动形状模型； BN：批量归一化； CNN：卷积神经网络； CRF：条件随机场； DBN：深度信念网络； DL：深度学习； DNN：深度神经网络； EM：期望最大化； FCN：全卷积神经网络； GAN：生成对抗网络； GRU：门控循环单元； MSE：均方误差； MSL：边缘空间学习； MRF：马尔可夫随机场； LSTM：长短期记忆； ReLU：整流线性单元； RNN：循环神经网络； ROI：感兴趣区域； SMC：顺序蒙特卡罗； SRF：结构化随机森林； SVM：支持向量机。
心脏图像分割数据集： ACDC：自动心脏诊断挑战赛； CETUS：心内膜三维超声分割挑战； MM-WHS：多模态全心分割； LASC：左心房分割挑战； LVSC：左心室分割挑战； RVSC：右心室分割挑战。

其他： EMBC：国际医学与生物学工程会议； GDPR：通用数据保护条例； GPU：图形处理单元； FDA：美国食品和药物管理局； ISBI：IEEE 国际生物医学成像研讨会； MICCAI：医学图像计算和计算机辅助干预国际会议； TPU：张量处理单元；世界卫生组织：世界卫生组织。

利益冲突声明

作者声明，该研究是在不存在任何可能被视为潜在利益冲突的商业或财务关系的情况下进行的。

作者贡献

CC、WB、DR对作品进行构思和设计； CC、CQ、HQ分别检索并阅读MR、CT、US文献； CC、CQ、HQ共同起草稿件； WB、DR、GT、JD 提供了批判性修改，提出了富有洞察力和建设性的意见，以改进稿件；所有作者阅读并批准了该手稿。

资金

这项工作得到了 SmartHeart EPSRC 计划拨款 (EP/P001009/1) 的支持。 Huaqi Qi 得到 EPSRC 计划拨款 (EP/R005982/1) 的支持。

数据可用性声明

表6中汇总的数据集可以在下面列出的相应网站中找到：

1. 约克：http://www.cse.yorku.ca/~mridataset/

2. 桑尼布鲁克：http://www.cardiacatlas.org/studies/sunnybrook-cardiac-data/

3. LVSC：http://www.cardiacatlas.org/challenges/lv-segmentation-challenge/

4. RVSC：http://www.litislab.fr/?projet=1rvsc

5. cDEMRIS：https://www.doc.ic.ac.uk/~rkarim/la_lv_framework/fibrosis

6. LVIC：https://www.doc.ic.ac.uk/~rkarim/la_lv_framework/lv_infarct

7. LASC'13：www.cardiacatlas.org/challenges/left-atrium-segmentation-challenge/

8. HVSMR：http://segchd.csail.mit.edu/

9. ACDC：https://acdc.creatis.insa-lyon.fr/

10. LASC'18：http://atriaseg2018.cardiacatlas.org/data/

11. MM-WHS：http://www.sdspeople.fudan.edu.cn/zhuangxiahai/0/mmwhs17/

12. CAT08：http://coronary.bigr.nl/centerlines/

13. CLS12：http://coronary.bigr.nl/stenoses

14. CETUS：https://www.creatis.insa-lyon.fr/Challenge/CETUS

15. 卡缪：https://www.creatis.insa-lyon.fr/Challenge/camus

致谢

我们要感谢我们的同事：Karl Hahn、Qingjie Men、James Batten 和 Jonathan Passerat-Palmbach，他们提供的见解和专业知识为我们的工作提供了极大的帮助，同时也感谢 Turkay Kart 的建设性和深思熟虑的评论，极大地改进了手稿。