使用神经量子核的卫星图像分类

摘要

尽管进行了大量的理论研究，但量子机器学习在现实世界场景中的实际应用在短期内仍难以捉摸。 图像分类是经典模型的常见任务，已被用来用简单的 dataset 对量子算法进行基准测试，但只有少数研究解决了复杂的真实数据分类挑战。 在这项工作中，我们通过关注卫星图像的分类来解决这一差距，这是地球观测 (EO) 行业特别感兴趣的任务。 我们首先通过降低其维度来预处理选定的复杂 dataset。 随后，我们使用神经量子核 (NQKs) - 从训练好的量子神经网络 (QNNs) 中构建的嵌入量子核 (EQKs) - 来对包括太阳能电池板的图像进行分类。 我们探索了 $1$ 到 $n$ 和 $n$ 到 $n$ NQKs。 在前者中，来自单个量子比特 QNN 训练的参数构建了一个 $n$ 量子比特 EQK，在三个特征下实现了超过 86% 的平均测试精度。 在后者中，我们迭代地训练一个 $n$ 量子比特 QNN 以确保可扩展性，使用所得架构直接形成一个 $n$ 量子比特 EQK。 在这种情况下，三个特征和 8 个量子比特获得了超过 88% 的测试精度。 此外，我们表明，结果对 QNN 的次优训练具有鲁棒性。

I 介绍

量子机器学习 (QML) 领域的最新进展 Biamonte et al. (2017); Carleo et al. (2019); Dunjko and Briegel (2018) 显著地提高了我们对如何利用量子资源设计各种新范式的理解 Huang et al. (2021a); Schuld (2021); Jerbi et al. (2023); Schuld and Killoran (2019)。 这些发展揭示了量子模型的可训练性 McClean et al. (2018); Cerezo et al. (2021); Holmes et al. (2022); Fontana et al. (2024); Ragone et al. (2023); Thanasilp et al. (2024); Pesah et al. (2021) 和泛化能力 Caro et al. (2021, 2022); Peters and Schuld (2023); Banchi et al. (2021); Gil-Fuster et al. (2024)，甚至在某些定制问题上展示了优于经典方法的理论优势 Gyurik and Dunjko (2023); Sweke et al. (2021); Jerbi et al. (2021); Liu et al. (2021); Pirnay et al. (2023)。 尽管取得了这些突破，并且量子模型已成功地在量子处理器上实施 Havlíček et al. (2019); Johri et al. (2021); Ristè et al. (2017); Steinbrecher et al. (2019); Peters et al. (2021)，但 QML 的实用性仍不确定 Jadhav et al. (2023)。

图像分类由于其重要的工业应用，成为最实用的任务之一。 各种方法已被探索，包括量子卷积神经网络 (QCNNs)Matic 等人 (2022); Henderson 等人 (2020a); Lü 等人 (2021); Chen 等人 (2023) 和利用对称性的模型 Chang 等人 (2023); West 等人 (2023); Sebastian 等人 (2024); West 等人 (2024)。 越来越多的证据表明，结合经典和量子方法比试图用一种方法取代另一种方法更有益。 对更优机器学习技术的探索，以及新方法的应用，需要更深入地考虑资源效率、数据需求和这些技术的实际应用等因素。 正如本文所述，这涉及在应用量子数据处理模型之前对图像进行经典预处理 Senokosov 等人 (2024); Dang 等人 (2018)。 目的是展示使用在量子处理器上可执行的组件构建和实现模型，目标是将它们扩展以创建无法在经典处理器上模拟的模型。

在这种情况下，大多数研究都集中在作为评估这些模型基准的典型分类问题上，而很少有研究解决更现实的分类挑战。 地球观测 (EO)，利用遥感技术，为气候变化监测、灾害管理、农业生产力评估和城市规划等广泛应用提供了宝贵的数据。 通过使用机器学习，EO 成为从这些数据中提取有用见解的必要手段，帮助我们更有效地管理地球系统。 近年来，由于广泛的机构和商业任务 () (ESA); Commission (2018)，卫星图像产品的每日数量激增。 这种增长促使 EO 社区探索可以增强当前方法的计算范式。

很少有研究使用量子资源来解决这个复杂的分类任务。 普遍的方法涉及使用参数化量子电路，随后进行降维技术，如参考文献中所见 Zollner 等人 (2024); Sebastianelli 等人 (2022); Benítez-Buenache 和 Portell-Montserrat (2024)。 此外，还有一些方法利用基于量子核的支持向量机 (SVM) Mountrakis 等人 (2011); Delilbasic 等人 (2021a)。 这些研究的一个共同主题是依赖于特征映射和/或 ansatz 的选择，以及在编码之前用于降维或特征提取的经典预处理方法。 基于这些基础，这项工作的目标是解决一个实际的用例，它有可能对 EO 行业产生重大影响。

本文重点关注使用具有挑战性的真实世界数据集 Bradbury et al. (2016) 来识别太阳能光伏 (PV) 面板。 此用例的动机是希望为高优先级的社会和环境应用做出贡献。 有效地解决这个问题有可能对可再生能源行业相关的物流产生积极影响，该行业正面临着对可再生能源来源的需求大幅增加，以及管理全球范围内不断增长的太阳能基础设施部署的挑战。 为了完成这项任务，我们提出了一种基于跨任务迁移学习实现的综合经典预处理流水线，以进行特征提取，事实证明这对于该目的特别有效。 为了将数据容纳在噪声中等规模量子 (NISQ) 时代 Preskill (2018) 中小规模电路的约束范围内，采用了降维技术。 我们基于参考文献 Rodriguez-Grasa et al. (2024) 中概述的方法构建了两个不同的量子模型，两者都利用神经量子核 (NQKs)，它们是通过训练量子神经网络 (QNN) 获得的嵌入量子核 (EQKs)。

第一个模型利用了 $1$ 到 $n$ NQK 方法，其中训练单个量子比特 QNN 形成 $n$ 量子比特 EQK。 对于此分类任务，$2$ 和 $3$ 的量子比特数就足够了。 第二个模型采用 $n$ 到 $n$ NQK 策略，使用经过训练的 $n$ 量子比特 QNN 作为构建量子核的嵌入。 $n$ 量子比特 QNN 的训练遵循参考文献 Rodriguez-Grasa et al. (2024) 中提出的迭代方法，从单个量子比特开始，逐步扩展以增强分类器性能。 两种方法都表现出鲁棒性，分类准确率接近 90%。

本文组织如下：在第 II 节中，我们讨论了相关工作，回顾了关于量子计算在 EO 中应用的多个参考文献，简要分析了 EO 图像分类、混合 QNN 和量子增强 SVM 的主要趋势。 第 III 节描述并总结了所选数据集的特征和特性，以及采用对其进行预处理的策略。 在第 IV 节中，我们介绍了 NQKs，这是一种由 Rodriguez-Grasa et al. (2024) 提出的量子分类方法。 第 V 节展示并讨论了数值结果及其分析。 最后，第 VI 节总结了我们的发现，对结果进行了批判性评估，并为未来的研究提出了方向。

II 卫星图像分类的相关工作

本节简要概述了利用量子机器学习 (QML) 进行遥感图像分类的关键贡献。 我们将介绍一些相关方面，包括特征提取和降维、混合量子神经网络和量子支持向量机 (qSVMs)。

II.1 特征提取和降维

降维和特征提取问题是机器学习领域中的一个普遍挑战。 当使用 QML 处理遥感应用中的图像分类问题时，这个问题变得尤为突出。 这是因为这些图像的分辨率很高，需要有效的预处理和调整，以适应 NISQ 计算机中有限的量子位数。

在 Otgonbaatar 和 Datcu (2022) 中，降维问题通过使用一个简单的卷积神经网络 (CNN) 和一个自编码器来解决，它们是解决方案管道中第一个经典部分的一部分，该管道使用 EuroSAT 图像数据集 (64x64 像素的 Sentinel 2 卫星图像裁剪) 的常用 RGB 降维方法 Helber 等人 (2019)。 通过这种方法，实现了对数据维数的有效降低，信息最终嵌入到一个 17 量子比特参数化量子电路 (PQC) 中。 研究表明，所提出的 PQC 性能优于完全连接的密集层，并证实自编码器比朴素降采样技术是更好的选择。

在同一条道路上， Zollner 等人 (2024) 比较了不同的降维方法，这些方法被用作使用不同编码和变分电路的量子电路来分类卫星图像之前的初步经典预处理。 在降维技术中，他们考虑了降尺度、主成分分析 (PCA)、因子分析、受限玻尔兹曼机 (RBM)，以及全连接和卷积自编码器 (CAE)。 他们有趣地展示了，即使是更小的量子系统，如果应用了适当的特征提取技术，也具有良好的实际应用潜力。 与我们的问题相关的是，他们发现基于 CAE 的架构最适合作为从更大规模图像中提取特征的降维技术。

在降维技术领域， Henderson 等人 (2020b) 的作者探索了使用通过直接训练应用于卫星图像的变分电路来学习的量子卷积滤波器。 他们实施了 Quanvolutional 神经网络的增强版本，用于对 DeepSat SAT-4 数据集进行分类 Basu 等人 (2015)，该数据集已在真实量子硬件上进行了测试。

II.2 混合量子神经网络

如上所述，将经典神经网络，尤其是卷积神经网络（CNN）的灵活性和可变量子电路的表达能力相结合的概念是地球观测量子计算领域的一个反复出现的主题。

在 Sebastianelli 等人 (2022) 和 Zaidenberg 等人 (2021) 中，作者展示了混合量子神经网络在多类别土地覆盖分类问题中的应用。 在他们的研究中，他们在引入经典 CNN 最终全连接层之间的 PQC 时采用了 RGB EuroSAT 数据集。 他们强调了卷积嵌入步骤在将图像编码到量子元素之前的重要性。 他们还探讨了不同 ansatz 表现出的不同表达能力，包括 Bellman 电路（纠缠）和实振幅电路。 最佳模型是基于实振幅电路的模型，其性能略低于最先进水平，但在与基于 ResNet 的解决方案相比时，网络规模（参数数量）非常小。 该方法也通过滑动窗口方法在 Onera 卫星变化检测数据集 (OSCD) 上得到了验证 Daudt 等人 (2018)。

将迁移学习的概念应用于混合神经网络（量子迁移学习）的路径在 Otgonbaatar 等人 (2023) 中进行了探讨。 该研究重点关注冻结经典卷积层的参数，只训练架构的量子层。 他们在分类任务中比较了几种量子电路解决方案，发现多量子比特强纠缠量子层在大多数实验中比实振幅电路表现更好。 更深入地研究了混合量子神经网络用于分类，Sebastianelli 等人 (2023) 为关于混合量子神经网络中超参数调优这一复杂主题的讨论打开了大门。 作者使用 EuroSAT 作为基准数据集，提出了一种实用的策略来识别量子层数（影响电路深度）和量子比特数（影响电路宽度）的有效值对。 该策略使用等高线图来表示通过一系列初始实验获得的几个目标指标的插值。 他们的工作突出了为特定任务设计和调优量子神经网络的复杂性和非平凡性。

II.3 量子支持向量机

在 Delilbasic 等人 (2021b) 中，提出了两种不同的 qSVM 实现，每种实现都利用了量子计算中的不同主要范式：基于门的电路和量子退火。 作者证明了这些用于多光谱 EO 图像的实现能够在模拟和真实硬件中产生与经典 SVM 相当的结果。 然而，他们还表明，这些实现对它们可以在真实硬件上处理的数据量有明显的限制。

在 qSVM 的框架中，有趣的是提到了来自参考文献 Centre. (2023) 的最新工作，该工作验证了，虽然量子和经典运行时间都随维数对数增长，但量子模拟时间大于真实量子硬件时间：这一发现为使用中等规模量子计算机提供可能优势的空间。

III 数据集

本研究利用一个带标注的数据集，该数据集包含分布在加利福尼亚州四个城市 601 张高分辨率卫星图像中的 19,000 多个太阳能电池板。 该数据集最初在参考文献 Bradbury 等人 (2016) 中引入。 该数据集已广泛用于机器学习和深度学习领域，用于诸如太阳能预测（估计太阳能发电）、环境和社会经济分析，以及光伏设施的映射和检测 Erdener 等人 (2022); Feng 等人 (2021); Yu 等人 (2018) 等任务。

III.1 数据准备

图 1： (a) 正样本和 (b) 负样本图像，以及它们的二元分割掩码

该数据集包含带标注的图像，每个图像都是一个 5000x5000 像素的 RGB 卫星图像，空间分辨率为 30 厘米。 这些图像附带地理空间坐标，以及每个太阳能阵列的手动标注多边形。 这些标注有助于执行图像分类、语义分割和目标检测等任务。

在使用此数据集之前，必须考虑两个主要因素。 首先，该数据集尚未为分类任务做好准备。 其次，它太大太复杂，无法在 NISQ 时代直接输入到任何量子算法中。 因此，有必要采取一些措施来简化问题，减少数据量并使其可用于分类任务。 数据准备流程涉及以下步骤：

1. 将多边形标注转换为分割掩码。 该数据集包含以 JSON 格式的地理参考标注，指定构成面板的多边形的坐标。 为了标记每个图像并从中提取特征，有必要将这些多边形转换为二进制分割掩码，其中每个像素表示太阳能阵列的存在（白色）或不存在（黑色）。 该过程使用开源 scikit-image Python 库完成，该库提供绘制多边形内部区域的功能。

2. 图像分割。 处理高分辨率图像在内存消耗和计算时间方面可能具有挑战性，即使在经典硬件上也是如此。 在 NISQ 时代的量子计算中，由于可用量子位有限，无法在量子硬件中编码数据，以及在量子模拟器中实现大型电路所需的巨大计算复杂性，这个问题进一步加剧。 为了解决这个问题，每个 5000x5000 像素的图像被切分成 400 个 250x250 像素的较小图像。 此步骤允许创建包含正样本（存在面板）和负样本（不存在面板）的图像样本的数据集。 所有原始高分辨率图像都包含面板，但通过裁剪图像的小部分，可以获得没有面板的样本。

3. 采样和重新平衡类。 在将原始 463 张图像切片后，产生了 185,200 张切片图像，其中只有 10,863 张是正样本，占总数的 5.768%。 为图像定义“正样本”并非易事，因为它无法直接从数据集中推导出来。 然而，通过使用图像掩码，可以创建用于分配类别标签的局部标准。 在这项工作中，图像的类别标签可以定义为

   (1)

   其中 $\gamma =\frac{1}{N}{\sum }_{i,j}{M}_{ij}$ 是每张图像在掩码 $M_{ij}\in \{0,1\}$ 的二进制像素上正像素的比例；$\epsilon$ 是一个阈值，用于过滤掉“边缘情况”，而 $N$ 是每张图像的总像素数。 请注意，如果给定图像不符合这些条件中的任何一个（例如，如果其掩码包含的白色像素比例低于 $\epsilon$ 阈值，但大于零），则它将不会包含在数据集中。

   此外，为了促进量子实验并简化问题，通过对多数类进行欠采样，对数据集的类不平衡进行了临时移除。

4. 修剪正例。 如 (1) 中所定义，需要建立一个阈值来过滤掉非代表性情况。 例如，仅包含少量太阳能电池板像素的图像可能与负图像无法区分，即使是对人眼也是如此。 期待分类模型准确识别物体未完全可识别的“边缘情况”是不现实的。 因此，为了简单起见，从数据集中丢弃此类情况，以避免使用可能与噪声背景模式混淆的结构来训练模型。

   阈值 $\epsilon$ 的值已根据掩码中白色像素比例的百分位数设置。 对于整个未经过滤的数据集，我们定义了一个百分位数阈值 $\epsilon =T_p$ 来过滤掉白色像素比例低的图像。 百分位数等级 $p$ 经验性地设置为 15%，对应于覆盖图像表面 0.2% 的面板的存在。

图 1 显示了正样本图像和负样本图像的最终结果示例。 重要的是要注意，数据集尚未完全准备好用于在量子电路中使用和编码。 需要进行彻底的特征提取和降维步骤，正如将要看到的。

图 2： 从图像开始到获得详细说明经典预处理阶段的标签的管道。 从 $256\times 256\times 3$ 图像开始，将维度降低到 $p$ 特征的向量，范围从 -1 到 1。

图 3： 说明从输入图像到 NQK 构建的整个体系结构的图表。 上分支描述了 $1$ 到 $n$ NQK，而下分支显示了 $n$ 到 $n$ NQK，使用 $n$ 量子比特 QNN 构建。 此 QNN 将迭代训练，以确保可扩展性。

III.2 图像预处理

近年来，从高维（即高分辨率）图像中提取特征的广泛方法依赖于使用预训练的分类 CNN（例如，ResNet、EfficientNet 等）以及 CAE 的使用 Ryu et al. (2020) 。 根据一些初步测试，使用预训练的 CNN 以经典方式解决 PV 识别问题的想法被放弃，因为在对提取的嵌入进行基准测试时观察到其性能较低。 这导致了以下结论：在 ImageNet 上训练的通用多类 CNN 可能不适合检测高分辨率航空或卫星图像中的小物体，这些图像通常包含各种几何结构和地理空间模式。 另一方面，能够学习重建输入图像的 CAE 架构通常被认为是在执行其他下游任务之前用于图像的特征提取和降维。 在这两种情况下，所谓的 瓶颈特征（也称为 潜在向量）代表输入图像的全局摘要。

鉴于这项工作中小型结构识别问题的特殊性，我们决定以不同的方式处理分类问题：从“一般到具体的方法”到“具体到一般的方法”。 虽然识别图像中的太阳能电池板通常被认为是全局分类任务，但更具体的任务是识别图像中物体的精确轮廓。 语义分割技术通常用于实现这一点，使用诸如著名的 U-Net Ronneberger et al. (2015) 之类的 CAE 架构。 因此，确定从头开始使用图像及其分割掩码训练 U-Net 架构将产生用于小物体识别的最佳特征。 这种方法之前在参考文献 Huang et al. (2021b) 中被提出，用于使用从语义分割模型的瓶颈中提取的特征对医学图像中的小病灶进行分类。

用于二元分类任务的分割特征是从一个略微修改的 U-Net 架构中提取的，该架构在附录 A 中有进一步的描述。 发现该方法作为一种特征提取方法和降维策略特别有效，以便为使用 NISQ 计算机可以解决的量子算法铺平道路。 该网络使用一组训练图像从头开始训练。 为了提取潜在向量特征，仅使用编码器部分到瓶颈层，对每个图像进行提取。

编码器从瓶颈密集层产生 64 个大小的向量作为输出。 根据参数化电路的大小，这些特征可以通过降维技术进一步缩减。 为此问题选择的流程图如图 2 所示。 获得潜在特征后，$z$-分数归一化在应用 PCA 降维之前应用于它们。 PCA 的成分数量 $p$ 被选为模型的超参数，它取决于电路编码的具体要求。 在将特征嵌入到量子电路之前，它们的值被缩放以适合 $[-1,1]$ 的范围。 最后，电路产生预测 $\widehat{y}$，它要么是正类 +1，要么是负类 -1。

图 4: 详细的 NQK 构建过程。 该图从单个量子位的 QNN 的训练开始，从其中我们获得了最佳参数 ${\overrightarrow{\theta }}^{\ast }$。 使用这些参数，可以构建一个 $1$ 到 $n$ 的 NQK。 图的上半部分说明了 $1$ 到 $2$ NQK 构建的具体情况。 从训练好的单量子比特 QNN 中，我们也可以扩展到构建一个 2 量子比特 QNN，如图的下半部分所示。 通过迭代地应用此策略，可以构建一个 $n$ 量子比特 QNN，并将其用作 $n$ 到 $n$ NQK 的嵌入。

IV 方法

经典预处理是处理高度复杂的现实世界数据集的重要步骤。 在我们第 III.2 节中详细介绍的预处理框架中，PCA 作为一项关键技术脱颖而出，它本质上为模型引入了非线性。 这样，主成分数量 $p$ 的选择就成为模型的关键超参数。

在我们的研究中，我们专注于 $p=2$ 和 $p=3$ 特征，因为我们使用量子比特进行量子部分。 此外，尽管保留了更多数据信息，但考虑更多数量的主成分并不能保证性能提升，正如我们的发现所证明的那样。

在降低数据维数之后，我们结合了两种著名的 QML 架构，即 QNN 和 EQKs，以创建更强大的模型，称为 NQKs。

IV.1 数据重新上传 QNN

我们采用参考文献 Pérez-Salinas 等人 (2020, 2021) 中描述的数据重新上传架构来构建我们的 QNN。 对于单个量子比特，这由以下公式定义：

$${\mathrm{QNN}}_{\overrightarrow{\theta }}(\overrightarrow{x})\equiv \prod _{l=1}^{L}U({\overrightarrow{\theta }}_l)U(\overrightarrow{x})=U({\overrightarrow{\theta }}_L)U(\overrightarrow{x})\mathrm{\dots }U({\overrightarrow{\theta }}_1)U(\overrightarrow{x}).$$ (2)

此结构交替使用参数化门 $U({\overrightarrow{\theta }}_l)$ 和编码门 $U(\overrightarrow{x})$。 这里，$U$ 代表一个通用的 $\mathrm{SU}(2)$ 酉算符，由三个角度参数化。 自由参数的数量为 $3\times L$，其中 $L$ 表示向量 $\overrightarrow{\theta }=\{{\overrightarrow{\theta }}_1,\mathrm{\dots },{\overrightarrow{\theta }}_L\}$ 中包含的层数。 由于我们考虑的是具有 $p=2$ 和 $p=3$ 特征的数据点 $\overrightarrow{x}$，我们只需要一个编码酉算子。 对于具有 $p=2$ 特征的数据点，我们将编码门的第三个角度设置为 0。 这种架构产生了高度表达的模型，正如模型生成的函数的分析傅立叶频率所证明的 Schuld et al. (2021); Casas and Cervera-Lierta (2023)。 值得注意的是，即使只有一个量子比特，也可以执行复杂的分类任务 Tapia et al. (2023); Easom-McCaldin et al. (2024)。

最佳模型参数 ${\overrightarrow{\theta }}^{\ast }=\{{\overrightarrow{\theta }}_1^{\ast },\mathrm{\dots },{\overrightarrow{\theta }}_L^{\ast }\}$ 定义为

$${\overrightarrow{\theta }}^{\ast }=\arg \min f_{\mathrm{cost}}(\overrightarrow{\theta }).$$ (3)

我们使用的成本函数是保真度成本函数

$$f_{\mathrm{cost}}(\overrightarrow{\theta })=\frac{1}{M}\sum _{i=1}^M\left(1-{|⟨{\varphi }_l^i|\varphi (\overrightarrow{\theta },{\overrightarrow{x}}_i)⟩|}^2\right),$$ (4)

其中 $|{\varphi }_l^i⟩$ 表示数据点 ${\overrightarrow{x}}_i$ 的正确标签状态（选择为 $|0⟩$ 或 $|1⟩$），而 $|\varphi (\overrightarrow{\theta },{\overrightarrow{x}}_i)⟩={\mathrm{QNN}}_{\overrightarrow{\theta }}({\overrightarrow{x}}_i)|0⟩$。 一旦训练完成，单量子比特 QNN 将根据以下决策规则分配标签

$$\widehat{y}[{\overrightarrow{x}}_t]=\mathrm{sign}\left(\mathrm{tr}\left(|0⟩⟨0|{\rho }_{{\overrightarrow{\theta }}^{\ast }}({\overrightarrow{x}}_t)\right)-1/2\right)\in \{-1,+1\},$$ (5)

其中 ${\rho }_{{\overrightarrow{\theta }}^{\ast }}({\overrightarrow{x}}_t)\equiv {\mathrm{QNN}}_{{\overrightarrow{\theta }}^{\ast }}({\overrightarrow{x}}_t)|0⟩⟨0|{\mathrm{QNN}}_{{\overrightarrow{\theta }}^{\ast }}{({\overrightarrow{x}}_t)}^{†}$。

从单量子比特 QNN 开始，我们可以通过采用参考文献 Rodriguez-Grasa et al. (2024) 中概述的迭代训练策略来扩展它，其中 $n$ 量子比特 QNN 的构造是迭代进行的。 该方法逐渐添加量子比特，确保 $n$ 量子比特 QNN 的性能等于或超过 $(n-1)$ 量子比特的对应性能。

这种迭代构建基于对第一个量子比特的局部测量。 因此，当添加一个额外的 $n$ 量子比特时，如果我们以它最初与之前的 $n-1$ 个量子比特解耦的方式进行，并使用上一步的参数初始化训练，我们可以确保添加这个新的量子比特只能进一步降低成本函数的值。 为了实现量子比特之间的这种解耦，只需要将耦合新量子比特到先前量子比特的受控旋转参数初始化为 0，从而导致恒等运算。

为了实现这种策略，我们首先训练一个单量子比特 QNN 来确定最佳参数 ${\overrightarrow{\theta }}^{(1)\ast }$。 随后，我们将网络扩展到包含第二个量子比特，构建以下架构

$${\mathrm{QNN}}_{\overrightarrow{\theta },\overrightarrow{\phi }}^{(2)}(\overrightarrow{x})=\prod _{l=1}^L\left({\mathrm{CU}}_2^1({\overrightarrow{\phi }}_l^{(1)})\left(U({\overrightarrow{\theta }}_l^{(1)})\otimes U({\overrightarrow{\theta }}_l^{(2)})\right)U{(\overrightarrow{x})}^{\otimes n}\right).$$ (6)

这里，${\overrightarrow{\theta }}_l^{(1)}$ 用 ${\overrightarrow{\theta }}_l^{(1)\ast }$ 初始化，${\overrightarrow{\phi }}_l^{(1)}$ 对于每个 $l\in [1,L]$ 设置为零，如图 4 所示。 优化涵盖所有参数，然后使用最优值来初始化 $3$ 量子比特 QNN，遵循相同的程序。 因此，我们可以将其扩展以构建 ${\mathrm{QNN}}_{\overrightarrow{\theta },\overrightarrow{\phi }}^{(n)}(\overrightarrow{x})$，其中 $\overrightarrow{\theta }$ 包含所有单量子比特门可训练参数，而 $\overrightarrow{\phi }$ 包含纠缠门的可训练参数。

在此过程中，成本函数与等式 4 中的相同，但现在包括对 $\overrightarrow{\phi }$ 的依赖，决策规则表示为

$$\widehat{y}[{\overrightarrow{x}}_t]=\mathrm{sign}\left(\mathrm{tr}\left(|0⟩⟨0|\otimes {\mathrm{𝟙}}^{(n-1)}{\rho }_{{\overrightarrow{\theta }}^{\ast },{\overrightarrow{\phi }}^{\ast }}^{(n)}({\overrightarrow{x}}_t)\right)-1/2\right),$$ (7)

其中 ${\rho }_{{\overrightarrow{\theta }}^{\ast },{\overrightarrow{\phi }}^{\ast }}^{(n)}({\overrightarrow{x}}_t)\equiv {\mathrm{QNN}}_{{\overrightarrow{\theta }}^{\ast },{\overrightarrow{\phi }}^{\ast }}^{(n)}({\overrightarrow{x}}_t)|\overrightarrow{0}⟩⟨\overrightarrow{0}|{\mathrm{QNN}}_{{\overrightarrow{\theta }}^{\ast },{\overrightarrow{\phi }}^{\ast }}^{(n)}{({\overrightarrow{x}}_t)}^{†}$ 是将训练好的 QNN 应用于 $|\overrightarrow{0}⟩$ 状态后产生的量子态。

图 5： $1$ 到 $n$ NQK 方法的数值结果。 在 $(a)$ 和 $(b)$ 中，我们考虑了 $1$ 到 $2$ NQK，而在 $(c)$ 中，我们检查了 $1$ 到 $3$ NQK。 结果显示为 $p=2$ 特征。 训练和测试精度是从使用所描述的“$1$ 到 $n$ 集”的 2000 个样本的 10 折交叉验证过程中得出的。 在箱线图中，箱子的上部和下部分别代表使用 10 折交叉验证评估分类器精度后得到的精度的第 25 个百分位数和第 75 个百分位数。 箱线图中的水平线表示中位数，而须线从箱子延伸到距离箱子 1.5 倍四分位距 (IQR) 以内的最远评估得分。 超过须线的得分值被认为是异常值。

IV.2 神经量子核

正如参考文献 Rodriguez-Grasa 等人 (2024) 中介绍的那样，神经量子核 (NQKs) 是参数化 EQKs，其参数是从 QNN 的训练中获得的。 通常，我们将 $n-$ 到 $-n\cdot m$ NQK 表示为使用 $n-$ 量子比特 QNN 来构建 $n\cdot m-$ 量子比特 EQK。

考虑一些经典数据点 $\overrightarrow{x}$ 和量子嵌入 $S(\overrightarrow{x})$，EQK 的构造方式如下：

$$k({\overrightarrow{x}}_i,{\overrightarrow{x}}_j)={|⟨\overrightarrow{0}|S{({\overrightarrow{x}}_i)}^{†}S({\overrightarrow{x}}_j)|\overrightarrow{0}⟩|}^2,$$ (8)

其中 $|\overrightarrow{0}⟩={|0⟩}^{\otimes n}$。 然而，最佳嵌入会根据问题而有所不同。 因此，我们允许嵌入参数化，定义一个参数化的 EQK。 对于 NQK，嵌入参数是从 QNN 的训练中获得的。

如图 4 所示，我们区分两种不同的 NQK 架构：$1$ 到 $n$ 和 $n$ 到 $n$。 在 $1$ 到 $n$ 方法中，训练一个单量子比特 QNN，并将获得的参数用于构建一个 $n$ 量子比特 EQK。 在 $n$ 到 $n$ 方法中，将单量子比特 QNN 扩展为一个 $n$ 量子比特 QNN，该架构直接用于构建一个 $n$ 量子比特 EQK。 通过结合这些方法，可以构建通用的 $n$ 到 $n\cdot m$ NQK 模型。

为了构建一个 $1$ 到 $n$ NQK，我们按照以下步骤进行：在 $n$ 量子比特上复制数据重新上传 QNN 结构，使用从 QNN 训练中获得的参数 ${\overrightarrow{\theta }}^{\ast }$ 作为参数化酉算子的参数。 在层之间，我们在最近邻量子比特之间实现一个 CNOT 门级联，虽然也可以选择其他配置。 这种嵌入的精确表达式为

$$S_{{\overrightarrow{\theta }}^{\ast }}(\overrightarrow{x})=\prod _{l=1}^L\left(\left(\prod _{s=1}^{n-1}{\mathrm{CNOT}}_s^{s+1}\right)U{({\overrightarrow{\theta }}_l^{\ast })}^{\otimes n}U{({\overrightarrow{x}}_j)}^{\otimes n}\right),$$ (9)

其中我们使用约定 ${\prod }_{i=1}^n{A}_i=A_n\mathrm{\dots }{A}_1$，并且在 ${\mathrm{CNOT}}_s^{s+1}$ 中，下标和上标分别表示控制量子比特和目标量子比特。 $1$ 到 $2$ 情况下的嵌入的详细构建如图 4 所示。

另一方面，$n$ 到 $n$ 情况只需要直接将训练后的 $n$ 量子比特 QNN 作为嵌入。

$$S_{{\overrightarrow{\theta }}^{\ast },{\overrightarrow{\phi }}^{\ast }}(\overrightarrow{x})={\mathrm{QNN}}_{{\overrightarrow{\theta }}^{\ast },{\overrightarrow{\phi }}^{\ast }}^{(n)}(\overrightarrow{x}).$$ (10)

一旦定义了量子嵌入，我们就构建核矩阵 $K$，其中条目为 $k_{ij}=k({\overrightarrow{x}}_i,{\overrightarrow{x}}_j)$。 此矩阵作为 SVM 的输入，SVM 通过解决一个凸优化问题来找到定义决策规则的最优 $\overrightarrow{\alpha }$ 参数。

$$\widehat{y}[{\overrightarrow{x}}_t]=\mathrm{sign}\left(\sum _{i=1}^M{\alpha }_i{\widehat{y}}_i\frac{k({\overrightarrow{x}}_t,{\overrightarrow{x}}_i)+1}{2}\right),$$ (11)

其中 ${\{{\overrightarrow{x}}_i\}}_{i=1}^M$ 表示来自集合 $X$ 的训练点。

在 NQKs 的构建中，训练 QNN 将有关分类问题的的信息整合到 EQK 中，从而得到更鲁棒的 QML 模型。 事实上，在下节中，我们将证明，即使一个未完全训练的 QNN 也能有效地确定参数来构建一个性能极佳的 NQK。

V 数值结果和分析

在介绍了真实世界的分类问题和方法之后，我们证明可以实现 85-90% 的性能水平，考虑到分类任务的复杂性，这非常显著。 在下一节中，我们将展示数值结果，展示所描述模型的性能。 此外，我们还提供了一个用于对该数据集进行分类的经典基准，旨在尽可能严格地评估和比较不同模型的性能。

对于每个实验，使用数据集的不同划分，以确保没有数据泄漏：

• U-Net 训练集: 这一组 10,895 张图像仅用于从头开始训练 U-Net 架构，以生成嵌入。

• U-Net 测试集: 这一组包含 6,630 张图像，用于在 U-Net 上进行推理，以提取图像潜在特征。 这种方法确保提取的嵌入中没有数据泄漏，因为没有使用掩码。

• $1$-to-$n$ 集: 它是在 U-Net 测试集中随机选择的 2000 个样本子集，将在 $1$-to-$n$ NQK 实验和经典基准测试中使用。 通过执行分层 10 折策略来使用它，以获得稳健的测试结果。

• $n$-to-$n$ 集: 从 U-Net 测试集中选择随机子集，以执行 $n$-to-$n$ NQK 实验。 我们总共考虑了 700 个样本，其中 500 个用于训练，200 个用于测试。

有关此工作中为避免通过数据集拆分泄露而执行的近似值的更多详细信息，请参阅附录 B。

图 6： 使用具有 500 个训练点和 200 个测试点的 dataset 测试的 $n$ 到 $n$ 架构的数值结果。 实验使用 2 个和 3 个特征进行，结果是在五次独立试验中平均得到的。 这些实验使用了“scale QNN set”，如正文所述。 该图显示了 QNN 和相应的 $n$ 到 $n$ NQK 的平均训练和测试准确率。

V.1 $1$ 到 $n$ NQK

对于这些实验，我们使用了包含 2000 张图像的“$1$ 到 $n$ 集”。 使用 $k=10$ 执行了 $k$ 折方法，以获得可靠且可信的评估指标。 在 10 次迭代中的每一次迭代中，使用数据集的 9 折进行训练（1800 张图像），并使用 1 折进行测试（200 张图像）。 这种方法产生了图 5 中所示的结果，该图描绘了单量子比特 QNN 和 NQK 的训练和测试准确率。 此可视化突出了具有较少或没有异常值且框更窄的模型更稳健，因为它们的性能在不同的评估折叠中保持更一致。

我们检查了 $p=2$ 和 $p=3$ 特征，但主要关注 $p=2$，因为使用三个特征在令人惊讶的情况下对这个分类问题的效果较差。 $p=3$ 的结果在附录 C 中给出。对于 EQK 中的量子比特数量，我们考虑了 $n=2$ 和 $n=3$，分别对应于 $1$ 到 $2$ 和 $1$ 到 $3$ NQKs。 对于这个分类任务，增加量子比特数量不会提高性能。 值得注意的是，即使只有少量量子比特，我们也获得了很高的分类准确率。

我们区分了最优和次优 QNN 训练场景，两者都采用 Adam 优化器。 对于最优 QNN 训练，QNN 允许在 10 个 epoch 内以 0.01 的学习率收敛。 相反，对于次优 QNN 训练，在 2 个 epoch 后截断训练过程，以防止损失函数收敛，并使用 0.001 的较低学习率。 这种区分旨在展示 NQK 的鲁棒性。 我们观察到，虽然训练更好的 QNN 从引入 NQK 中获得了微小的改进，但即使 QNN 训练次优，NQK 的性能仍然很高。 这表明，只需要很少的训练迭代就可以选择合适的嵌入来构建鲁棒的 NQK。 虽然对于具有少量量子比特的系统，最优 QNN 训练非常简单，但对于更大的 QML 模型，NQK 的鲁棒性变得至关重要，因为无法保证最优训练。 在这种情况下，NQK 可以作为绕过 QNN 可训练性问题的候选方法。

在分析图 5 时，我们观察到三个图中的最佳结果接近 90% 的准确率，平均值约为 86%。 在图 5 $(a)$ 中，单量子比特 QNN 经过最优训练，构建 2 量子比特 NQK 可以提供最小的改进，尽管使用 NQK 的结果更集中。 在图 5 $(b)$ 中，使用次优 QNN 训练，QNN 的准确率下降到 75-80% 左右，而 2 量子比特 NQK 的性能几乎与最优训练场景一样好。 此外，QNN 更宽的方框表明它对参数初始化和使用的图像集高度依赖，而 NQK 较窄的方框则证明了它的鲁棒性。 图 5 $(c)$ 对应于使用 3 量子比特 EQK 的次优场景，显示的结果类似于 2 量子比特情况，但更集中在平均值附近。 这可能是由于更大的希尔伯特空间增强了线性分离。

V.2 $n$-到-$n$ NQK

在我们的第二种方法中，我们不是在训练完单量子位 QNN 后构建 EQK，而是将模型扩展到 $n$ 量子位 QNN，然后推导出 $n$ 量子位 NQK。 此扩展是迭代执行的，确保在添加量子位时成本函数不会增加，从而实现渐进式模型改进。

结果如 6 图所示，该图显示了 5 次独立运行的平均训练和测试精度以及标准差，每次运行使用不同的训练和测试集。 对于此分析，我们采用了 6 层 QNN，Adam 优化器，学习率为 0.005，迭代次数为 10 次，将模型扩展到 $n=8$ 个量子位。

图中的四个图表明，精度通常随着量子位数的增加而增加，由于训练精度与成本函数直接相关，因此训练精度的提高更为明显。 测试精度的标准差自然较大，反映了不同子集之间的差异。

在 6 $(a)$ 和 $(b)$ 图中，显示了 $p=2$ 特征的结果，而 6 $(c)$ 和 $(d)$ 图则描绘了 $p=3$ 特征的结果。 总体而言，NQK 方法在所有配置中始终优于 QNN 架构。 具体而言，使用 $p=3$ 个特征时，平均训练精度接近 90%，平均测试精度超过 86%。 相反，使用 $p=2$ 个特征时，NQK 方法的平均训练精度和测试精度分别超过 88% 和 84%。 但是，观察到轻微的过度拟合，这表现为训练精度比测试精度高，鉴于数据集的复杂性，这是可以预料的。

V.3 经典基准

Model	$n$ components	Train	Test
SVC	$p=2$	86.1$\pm$0.3	86.2$\pm$2.5
	$p=3$	88.0$\pm$0.3	88.1$\pm$2.7
	$p=45$	89.4$\pm$0.3	89.4$\pm$2.5
Random Forest	$p=2$	91.1$\pm$0.3	87.2$\pm$2.7
	$p=3$	93.0$\pm$0.3	87.6$\pm$2.0
	$p=10$	96.9$\pm$0.2	88.3$\pm$2.8
$1$-to-$2$ NQK	$p=2$	86.6$\pm$0.3	86.5$\pm$2.5
	$p=3$	81.7$\pm$1.8	81.1$\pm$2.9
$1$-to-$3$ NQK	$p=2$	86.6$\pm$0.3	86.5$\pm$2.6
	$p=3$	85.9$\pm$0.6	85.6$\pm$2.7

表 1： 展示了两种经典分类方法的平均训练精度和测试精度。 所有实验都采用与 NQK 实验中相同的 10 折设置，有 1800 个训练点和 200 个测试点。 NQK 的结果来自 QNN 的最佳训练。

迄今为止，我们的研究围绕着结合经典预处理和两种不同 QML 方法的混合架构展开。 目前，我们将深入研究经典方法作为量子组件的替代方案，以对我们的模型进行基准测试。 为此，我们将使用第 III.2 节中概述的预处理框架，然后使用经典机器学习算法对训练和评估进行相同的 10 折近似。

用于基准测试的选定模型是支持向量机分类器 (SVC) 和随机森林分类器。 如表 1 所示，对每个模型执行了三次运行。 为了确保与 EQK 模型进行公平比较，每个模型的前两行中的特征数量固定为 $p=2$ 和 $p=3$。 然后执行带有随机搜索的超参数优化，以产生几乎最佳的测试结果。 在每个模型的最后一行中，$p$ 也作为随机搜索中的超参数来确定它是否会比使用 $p\in \{2,3\}$ 产生更好的结果。 我们分析的结果表明，SVC 的 $p$ 的最佳值为 $p=45$，而随机森林的最佳值为 $p=10$。 每个模型的剩余超参数的值可以在附录 D 中找到。

VI 结论

本文针对真实数据集上的复杂二元分类任务，重点关注卫星图像的分类，以确定它们是否包含太阳能板。 进行经典预处理以减少数据维数，采用跨任务迁移学习实现，证明了其在这方面的显著有效性。 一旦数据维数被降低到可以使用量子模型进行处理，我们将利用两种不同的 NQK 方法，实现接近 90% 的最高准确率。

我们最初探索了 $1$ 到 $n$ 的 NQK 方法。 在此模型中，我们观察到从单量子比特 QNN 的训练构建 EQK 表现出鲁棒性，无论 QNN 是最佳训练还是次优训练，都会产生几乎相同的结果。 此外，我们研究了$n$到$n$ NQKs，这涉及构建一个可扩展的$n$量子比特 QNN 并构建相应的量子核。 在 QNN 的扩展过程中，我们发现通过增加量子比特的数量可以实现最高的准确率。 我们还观察到在构建内核时结果的鲁棒性。 使用这两种方法，我们成功地匹配了经典方法的性能，这些方法也针对特征数量进行了优化。 虽然目前的结果侧重于有限数量的量子比特，这表明量子模型可以被认为是量子启发的，但我们证明了，对于这个分类任务，使用各种量子和经典方法获得的准确率值收敛到类似的水平。

这项工作旨在使用量子方法解决一个具有工业应用的实际分类问题。 对于这个任务，我们已经观察到，使用少量量子比特，我们可以实现与最佳经典模型相当的准确率。 然而，探索需要在量子比特数量方面进一步扩展这些方法的任务将非常有意义。 为了今后的考虑，我们可以评估这种方法在具有更大类不平衡的数据集上的性能，并考虑将其在噪声量子模拟后端或实际量子硬件上实现。

VII 致谢

这项工作得到了西班牙科学与创新部在复苏、转型和复原计划 (CUCO, MIG-20211005) 下的支持。 PR 和 MS 感谢欧盟量子技术旗舰计划 HORIZON-CL4-2022-QUANTUM01-SGA 项目 101113946 OpenSuperQPlus100、西班牙拉蒙·卡哈尔奖学金 RYC-2020-030503-I、项目资助号 PID2021-125823NA-I00（由 MCIN/AEI/10.13039/501100011033 资助，并由“ERDF 欧洲之路”和“ERDF 投资你的未来”资助）以及 IKUR 战略（在伊克尔巴斯克基金会和 BCAM 之间关于巴斯克政府教育部的合作协议下）。 该项目还得到了西班牙经济事务和数字转型部通过 QUANTUM ENIA 项目呼吁 - 量子西班牙以及欧盟通过复苏、转型和复原计划 - 下一代欧盟的支持。 我们感谢巴斯克政府通过资助号 IT1470-22 以及通过 ELKARTEK 计划、项目“KUBIT - 量子创新学习技术”（KK-2024/00105）提供的资金。

附录 A 修改后的 U-Net 架构

由于其简单性和适应 PV 电站用例的能力，选择用于语义分割目的的经典架构是众所周知的 U-Net Ronneberger 等人 (2015)。 然而，该架构已略微修改以提取一维瓶颈特征，用于分类任务，因为主要目标不是解决语义分割问题。

如图 A.1 所示，该架构的主要变化是：

• 新增的全连接层。 在 U-Net 编码器部分的末端，引入了新的 $64$ 大小的全连接层，用作 瓶颈层 以便以后提取特征。 这些新层是从头开始训练的，与架构的其余部分一起，因此在这种情况下没有应用迁移学习。

• 全局最大池化和重塑层。 为了适应新的瓶颈层，在编码器中最后一个卷积层的末端，应用全局最大池化层以获得一维输出。 在应用瓶颈层之后，通过添加一个 256 大小的全连接层，然后重塑其输出，重建大小为 $16\times 16$ 的二维特征图。

图 A.1： 用于提取瓶颈特征的修改后的 U-Net 架构

附录 B 数据集拆分

在机器学习实验中将数据集划分为多个部分是一种强制性做法，以确保严格的结果并避免数据泄漏，因为它可能导致过于乐观的性能估计以及模型对新数据的泛化能力差。 当处理具有多个步骤的流水线的混合模型时，必须特别小心。

图 B.1: 用于管道每个步骤的数据集划分

在语义分割中，标签是二进制掩码。 在 U-Net 架构的训练过程中，来自训练样本的一些掩码信息通过反向传播被馈送到网络。 因此，U-Net 训练样本不应在量子实验的后期阶段使用。 图 B.1 说明了为避免这种现象而进行的近似。

附录 C 数值实验

本文介绍了正文中未包含的其他数值结果。 在图 C.1 中，我们探索了所有 NQK 结构场景，包括 $p=2$ 和 $p=3$ 特征、最优和次优 QNN 训练方法，以及 $n=2$ 和 $n=3$ 量子位。 正如正文中所述，使用 $p=2$ 特征为这种架构和分类任务提供了更好的性能。 我们还观察到，在这种情况下，从 $n=2$ 到 $n=3$ 量子位没有改进。

图 C.1: NQK 方法的数值结果：此图说明了涉及 $p=2$ 和 $p=3$ 特征、QNN 组件的最优和次优训练，以及内核构建中使用的 $n=2$ 和 $n=3$ 量子位的所有组合的结果。

附录 D 经典基准的超参数

为了在数据集上获得可靠且稳健的经典结果，以与量子方法进行比较，对所选模型（SVC 和随机森林）的超参数进行了随机搜索。 应该注意的是，随机搜索不能保证在参数空间中达到全局最优，但通过足够的迭代，它可以获得令人满意的近似值。 这些实验中设置的迭代次数为 5000。

为了确保公平比较，模型最初使用与 NQK 实验相同数量的特征进行测试 ($p\in \{2,3\}$)。 随后，组件数量也被设置为搜索中的超参数，因为原始嵌入的大小为 64。 表格 2 和 3 显示了通过随机搜索为每个模型识别的超参数值。

在 SVM 分类器中，关键超参数是 kernel、C 和 gamma。 核函数（例如，线性、多项式、RBF）转换输入数据以找到用于分类的最佳超平面。 C 参数控制低训练误差和泛化之间的权衡。 gamma 参数特定于 RBF、多项式和 sigmoid 核，定义了单个训练示例的影响范围。 在表 2 的情况下，即使 gamma 参数被优化，它也没有影响，因为在所有三种情况下，选择的最佳核都是线性的。

Model	n_components	kernel	C	gamma
SVC	$p=2$	linear	9.53	0.016
	$p=3$	linear	10.09	0.079
	$p=45$	linear	10.04	0.085

表格 2： 通过随机搜索找到的 SVC 超参数的最优值

在随机森林分类器中，一些关键的超参数是 n_estimators、max_depth 和 max_features。 n_estimators 参数指定森林中树木的数量，其中更多的树木通常会提高性能，但会增加计算成本。 max_depth 参数控制每棵树的最大深度，通过限制树木的生长深度来防止过度拟合。 max_features 参数确定在寻找最佳分割时要考虑的特征数量，在模型的准确性和计算效率之间取得平衡。

Model	n_components	n_estimators	max_depth	max_features
Random Forest	$p=2$	72	40	sqrt
	$p=3$	197	96	sqrt
	$p=10$	103	13	sqrt

表格 3： 随机森林分类器的超参数的最优值通过随机搜索找到

为了确保结果的可重复性，所有这些经典实验都是使用 scikit-learn Python 库进行的。