预测日前电价：对最先进算法、最佳实践和开放获取基准的回顾

摘要

虽然电价预测领域在过去二十年中受益于大量贡献，但可以说它缺乏评估新预测算法的严格方法。 后者通常使用独特的、非公开的数据集进行比较，并且样本太短且仅限于一个市场测试样本。 所提出的新方法很少与已建立且性能良好的更简单模型进行基准测试，准确性指标有时不足，并且很少进行预测性能差异的显着性测试。 因此，尚不清楚哪些方法表现良好，也不清楚预测电价时的最佳实践是什么。 在本文中，我们通过比较多年来和市场上最先进的统计和深度学习方法，并提出一套最佳实践来解决这些问题。 此外，我们还提供经过考虑的数据集、最先进模型的预测以及专门设计的 python 工具箱，以便在未来的研究中可以严格评估新算法。

1简介

可再生能源 (RES) 在当今电力系统中的渗透率不断提高，导致发电量更加不稳定，从而导致电价更难以预测[1,2,3,4] 。 另一方面，电价预测 (EPF) 的进步不断提供新工具，其最终目标是缩小预测与实际价格之间的差距。 然而，这一领域的进展并不稳定且容易追踪。 特别是，正如所有主要评论出版物所得出的结论，EPF 方法之间的比较非常困难，因为研究使用不同的数据集、不同的软件实现和不同的误差测量；由于缺乏统计严谨性，这些分析变得更加复杂[5,6,7,8]。 尤其：

• 有几项研究比较了机器学习（ML）和统计方法，但这些研究的结论相互矛盾。 通常，考虑先进统计技术的研究仅将其与简单的机器学习方法[9,10,11]进行比较，并表明统计方法明显更好。 相反，提出新的机器学习方法的研究仅将它们与简单的统计方法进行比较[12,13,14,15,16]并表明机器学习模型更准确。

• 在许多现有研究中[17,18,19,20,21,22,23]测试周期通常太短而无法得出结论性结果。 在某些情况下，测试数据集仅限于一周[24,25,22,26,27,28,29,30]；这忽略了特殊日子的问题，例如节假日，并不代表所提出的算法全年的性能。 正如[5]中所述，为了获得有意义的结论，测试数据集应至少跨越一年。

• 一些现有论文没有提供足够的细节来重现该研究。 三个最常见的问题是：(i) 未指定训练数据集和测试数据集 [31, 32, 33, 34, 35, 36, 37] 之间的确切划分，(ii) 未指示用于预测模型的输入[38, 35, 39, 40, 36]，并且 (iii) 未指定所使用的数据集[41, 42, 21, 33] 。 这显然阻碍了其他研究人员验证研究结果。

随着深度学习（DL）的日益普及，这三个问题在过去几年中变得更加严重。 虽然几乎每个月都会有关于 EPF 的 DL 的新发表论文出现，并且大多数都声称开发出具有最先进精度的模型，但这些论文中进行的比较非常有限。 特别是，新的深度学习方法通​​常与更简单的机器学习方法[43,44,30,28,45,46,47]进行比较。 这显然是有问题的，因为这种比较是不公平的。 此外，由于所提出的方法没有与其他深度学习算法进行比较，因此不断提出新的深度学习方法，但尚不清楚不同模型之间的相对表现如何。

类似的问题也出现在混合方法的背景下。 近年来，人们提出了非常复杂的混合方法。 通常，这些混合模型基于组合分解技术、特征选择方法、ML 回归模型，有时还结合一种用于优化目的的遗传算法。 与深度学习算法一样，这些研究通常避免与成熟的方法进行比较[42,21,48,49,34,25,50]或诉诸于使用过时的方法进行比较[26, 51、52、22、41、24、37]。 此外，虽然考虑了特定的遗传算法或分解技术，但大多数研究并未分析选择这些技术的变体的效果[24,21,50,51,52]。 因此，混合方法的每个不同组成部分的相对重要性尚不清楚。

1.1 动机和贡献

针对上述问题，需要采取三项行动。

首先，在流行的编程环境（例如python)中实现，彻底测试并提供一套简单但功能强大的开源预测方法，这些方法有可能获得状态-最先进的结果，研究人员可以轻松地使用它来评估任何新的预测模型。

其次，收集并向 EPF 社区免费提供一组代表性基准数据集，研究人员可以使用这些数据集来评估和比较他们使用长时间测试的方法。 尽管如此，有些数据集可以不受限制地下载，例如作为已发表文章 [53] 或样本交易数据 [54] 的补充，它们通常仅限于范围（一个市场、2-3 年时间跨度或价格系列） ）。 因此，此类数据集得出的结论是有限的，结果很难外推到其他市场，并且使用此类数据进行的研究的相关性并不完全清楚。

第三，提出一套最佳实践，使EPF研究的结论变得更有意义，并可以进行公平的比较。

在本文中，我们尝试通过三个不同的贡献来解决上述问题：

1. 我们分析了现有文献，并选择了可以说是统计和机器学习方法中最先进的方法：Lasso 估计自回归 (LEAR) 模型 [55] 和深度神经网络 (DNN) [59]，一种相对简单且自动化的深度学习方法，使用贝叶斯优化超参数和特征优化。 然后，我们将模型开源并作为专门设计的开源 python 库 https://github.com/jeslago/epftoolbox 的一部分提供给其他研究人员本研究为EPF研究提供一个通用的研究框架[60]。 除了模型之外，我们还为该库提供了广泛的文档[61]。

2. 我们提出了一组五个开放获取的基准数据集，每个数据集跨越六年，代表了全球范围内一系列完善的日前拍卖型电力市场。 这些数据集包含每小时频率的日前电价以及两个相关的外生变量。 它们可以从专门为本研究设计的 python 库 [60] 中访问。 除了数据集之外，该库还包括五个基准数据集的开放获取方法的预测，以便研究人员可以快速进行进一步比较，而无需重新训练或重新评估模型。

3. 我们提供一套最佳实践指南来进行EPF研究，以便新的研究更加合理、可重复，并且获得的结论更有力。 此外，我们还包括一些指南，例如足够的评估指标或统计测试，在上述专门为本研究设计的python库[60]中，为EPF研究提供通用的研究框架

1.2论文结构

本文的其余部分组织如下。 2部分对EPF的现状进行了文献综述。 3 和 4 部分分别介绍了开放访问基准数据集和开源基准模型。 5 部分描述了在 EPF 中进行研究时的一套指南和最佳实践。 6 部分讨论所有五个数据集的预测结果。 最后，第 7 节提供了有意义的 EPF 研究要求的摘要和清单。

2文献综述

EPF 领域的目标是在点或概率环境下预测批发市场的现货和远期价格。 然而，鉴于全球贸易法规的多样性，EPF 始终必须针对特定市场进行定制。 例如，欧洲短期电力交易的主力是日前市场，其每天一次的统一价格拍卖，见图1。 另一方面，澳大利亚国家电力市场作为实时电力池运行，每五分钟确定一次调度价格，每半小时平均六次调度价格作为池价格[62] ，而电力远期市场与其他能源商品（石油、天然气、煤炭）有许多共同点，而且往往只是进行财务结算[63]。

图1： 日前拍卖市场示意图，其中批发卖家和买家在$d-1$天关门之前提交出价，以便在$d$天交付电力; $d$ 天的 24 小时价格同时设置，通常在中午左右。

由于 EPF 领域非常多样化，完整的文献综述超出了本文的范围。 相反，本节旨在概述自 2014 年（即自上次对 Weron [5]。 最近的评论要么侧重于短期[6]，要么侧重于中/长期[7]概率EPF，范围并不全面[ 64, 65]，或有关电力衍生品[63]。 此外，我们的调查特别强调深度学习和混合方法，因为这是 EPF 发展最快的领域，同时也受到不严格的实证研究的困扰，这促使我们首先写这篇论文地方。

2.1统计方法

此类中的大多数模型依赖于线性回归并表示因变量（或输出）变量，即天 $d$ 和小时 $h$ 的价格 $p_{d,h}$，通过自变量（或预测变量、解释变量）的线性组合，也称为回归变量、输入或特征：

$$p_{d,h}={𝜽}_h{𝐗}_{d,h}+{\epsilon }_{d,h},$$ (1)

其中 ${𝜽}_h=[{\theta }_{h,0},{\theta }_{h,1},\mathrm{\dots },{\theta }_{h,n}]$ 是特定于小时 $h$ 的系数行向量，${𝐗}_{d,h}=[1,X_{d,h}^1,\mathrm{\dots },X_{d,h}^n]\top$ 是输入的列向量，${\epsilon }_{d,h}$ 是误差项;如果数据事先被贬低，截距${\theta }_{h,0}$可以设置为零。 请注意，这里我们使用的是日前预测中常见的符号，它强调这些价格序列的向量结构，见图1。 或者，我们可以使用单一索引：$p_t$ 和 $t=24d+h$。 尽管多变量建模框架已被证明比单变量建模框架稍微准确，但这两种方法都有其优点和缺点[57, 66]。

在过去几年中，EPF 统计方法领域做出了多项关键贡献。 可以说，其中最相关的是具有大量输入特征并利用正则化技术的线性回归模型的出现[56, 67]。 传统上，(1) 中的回归模型是使用普通最小二乘法 (OLS) 通过最小化残差平方和 (RSS) 来估计的，即预测值和实际值之间的平方差。 但是，如果回归量的数量很大，则使用最小绝对收缩和选择算子（LASSO）[56]或其推广的弹性网络 [67] 因为隐式特征选择方法已被证明可以改善预测结果[68, 55, 69, 57, 58, 59]。 特别是，这两种隐式正则化技术通过联合最小化RSS和模型参数的惩罚因子（详见4.2节），将部分参数设置为零，从而有效消除冗余回归量。 如引用的研究[68,55,69,57,58,59]所示，这些参数丰富 正则化回归模型表现出优越的性能。 值得注意的是，这种方法在这里被称为Lasso Estimated AutoRegressive (LEAR)，实际上是混合的，因为 LASSO（和电网络）被一些作者认为是 ML 技术。 然而，我们将其归类为统计模型，因为底层模型是自回归的。

除了提出参数丰富的模型和高级估计器之外，研究人员还通过考虑各种额外的预处理技术来改进该领域。 最值得注意的是，使用所谓的方差稳定变换 [70, 71, 9, 57] 和长期季节性分量 [72, 73, 74, 75] 的模型具有被提出并被证明可以带来统计上显着的改进。 然而，这两种技术的适用性差异很大：由于价格飙升的情况非常常见，方差稳定变换已成为标准并取代了常用的对数变换（由于零和负值而不再适用））使电价正常化。 相比之下，长期季节性成分的适用性更加有限，并且尚不清楚它们的有益效果是否仅限于相对简约的回归模型或也适用于参数丰富的模型。

该领域的第三个创新是集成，即一种结合各个预测模型以提高准确性的方法，该方法结合了在不同窗口上校准的同一模型的多个预测。 在这种情况下，两项不同的研究[76, 77]表明，通过结合一些短校准窗口（跨越1-4个月）和一些长校准窗口（大约两个年）。 所述集成能够显着优于针对最佳事后选择的校准窗口[76, 77]获得的预测。 但同样，迄今为止尚未证明这种效应是否仅限于相对简约的回归模型，或者也适用于 LEAR 模型。

2.2深度学习

近五年来，共发表了 28 篇 EPF 背景下的深度学习论文. 而且，这个数字还在稳步增加：2016年只有一篇论文，2017年没有一篇，而2018年有11篇，2019年有16篇。 尽管存在这种趋势，但大多数已发表的研究都非常有限：比较过于简单化，例如避免使用最先进的统计方法，其结果无法推广。

第一篇发表的深度学习论文[12]提出了一种使用堆叠去噪自动编码器的深度学习网络。 尽管是第一篇论文，但它提供了比大多数研究更好的评估：新方法不仅与机器学习技术进行比较，还与两种统计方法进行比较。 然而，评估是有限的，因为它是考虑三个月的测试数据并采用简单的模型进行比较。 在第二篇发表的深度学习论文[43]中，提出了一种用于建模市场整合的DNN。 虽然该方法是通过一年的数据进行评估的，但该研究也受到限制，因为所提出的模型没有与其他机器学习或统计方法进行比较。

在第三篇发表的论文[59]中，四个深度学习模型（一个 DNN、两个循环神经网络 (RNN) 和一个卷积网络 (CNN))提出。 据我们所知，这项研究是迄今为止最完整的研究。 特别是，所提出的深度学习模型使用全年数据与 23 个不同模型的基准进行比较，其中包括 7 个机器学习模型、15 种统计方法和商业软件。 此外，在统计方法中，比较包括fARX-Lasso和fARX-EN，即最先进的统计方法。 虽然该研究显示了深度学习算法的优越性，但由于该研究仅考虑单一市场，因此不可能得出非常有力的结论。

2018 年的研究主要集中在以下三个主题之一：1）评估不同深度循环网络的性能[13,23,78,37]； 2）提出基于CNN和LSTM的新混合方法[44,14,79,80]；或 3) 采用常规 DNN 模型[23]。 与焦点无关，它们都比第一项和第三项研究更加有限[12, 59]，因为它们未能将新的深度学习模型与最先进的统计方法进行比较和/或者使用足够长的数据集来得出强有力的结论。

具体而言，[13] 研究了使用 RNN 来预测电价，但比较是在单一市场中并针对简单的统计方法（季节性自动回归综合移动平均线)进行的> (ARIMA) 模型、马尔可夫状态切换模型和自激励阈值模型）。 此外，虽然比较包括其他深度学习方法，但它避免了与更简单的机器学习技术的比较。 参考号 [44]提出了一种由 CNN 和长短期记忆（LSTM）（一种循环网络）组成的混合深度学习方法，用于预测平衡价格。 然而，新模型仅与简单的 ML 训练基准进行比较，并且评估是使用不同的时期完成的，包括三个月的测试和 1 个月的测试。 同样，[14]提出了另一种结合了 CNN 和 LSTM 的混合模型，但该模型仅与两种朴素的统计方法进行比较：自回归移动平均（ARMA）和广义自回归条件异方差 (GARCH) 模型。

在[23]中，提出了常规 DNN 模型，但该模型仅在包含一天的测试数据集上进行评估，并与简单的 MLP 进行比较。 [29]中评估了使用LSTM模型进行EPF，但该方法仅与三个神经网络和简单的统计方法进行比较，并且仅使用4周的数据进行评估。 同样，[78]提出了一个基于 LSTM 的模型，但没有与其他方法进行比较，并且测试数据集仅包含 2 周的数据。 在[37]中，提出了另一种LSTM模型，但与其他研究一样，测试数据集包含几个月的数据，并且该方法仅与简单的决策树和支持向量回归器进行比较；此外，没有指定训练数据集和测试数据集之间的确切划分，并且不清楚模型的性能究竟如何。 这些研究的一个例外是[81]，它提出了一系列深度学习模型，并将它们与几种先进的统计方法（例如 LASSO 和更简单的机器学习方法）进行了一年的数据比较。 该研究的主要缺点是它基于单一市场，并且只考虑简单的机器学习方法作为基准。 此外，该研究侧重于日内电价，而大多数文献（包括当前论文）考虑预测日前电价。

2019 年，论文的主要关注点与 2018 年相同：1）评估不同深度循环网络（主要是 LSTM）的性能[30, 45, 16, 47, 82, 83, 84], 2) 提出通常基于 LSTM 和 CNN 的新混合深度学习方法 [85, 86, 82, 87, 28, 17, 36]，或 3) 采用常规 DNN 模型 [46,15,88]。 同样，与 2018 年的大多数研究一样，新研究比 [12, 59] 更加有限，因为没有与最先进的统计方法进行比较，并且很少使用长测试数据集。 在这种背景下，尽管一些研究[16, 88]试图将所提出的方法与现有的深度学习模型[59]进行比较，但他们要么未能重新估计基准新案例研究的模型[16]或者它们过度拟合了深度学习基准模型[88]。

具体来说，[30]提出了不同的 LSTM 模型，但新模型仅与其他 5 种 ML 技术进行比较，并使用 4 周的测试期。 在[28]中，提出了一种 CNN 模型，但新模型仅与三种简单的 ML 方法进行比较，并使用包含一周的测试数据集。 [45]中提出了一种基于 LSTM 的模型，但仅与三种简单的 ML 方法进行了为期 12 周的比较。 [46]中将DNN与SVR模型的性能进行了比较，由于比较仅包括这两个模型，因此显然非常有限。 在[15]中，DNN被用作两步预测方法的一部分；与许多其他研究一样，比较是针对一个月的数据进行的，并且仅限于两个简单的 ML 模型（SVR 和 MLP）和标准线性模型。 在[47]中，提出了两种深度学习模型，但这些模型仅与非常简单的机器学习方法（极限学习机和标准 MLP）进行比较，并使用跨越八个月的测试数据集。 [16]提出了一种双向LSTM来预测法国市场的价格；然而，该研究仅考虑历史价格作为输入特征，并且所提出的方法仅与深度学习模型和简单的自回归模型进行比较。 此外，基准深度学习模型是从[59]（考虑外生输入和不同市场的完全不同的案例研究）复制而来，而无需根据新案例研究重新调整超参数。

在[88]中，提出了一种使用订单簿数据的神经网络，并与文献中的深度学习方法进行了比较，例如[59]中提出的。 虽然新模型优于现有的深度学习训练方法，但文献中的深度学习方法经过训练会过度拟合数据集. 因此，这种比较没有意义（深度学习基准模型在测试数据集中必然表现不佳），并且无法评估新模型的表现如何。 [85]提出了一种混合深度学习预测方法，该方法基于用于预训练的堆叠去噪自动编码器、用于特征选择的常规自动编码以及作为预测方法的粗略DNN。 与其他研究一样，该方法仅与其他更简单的机器学习模型进行比较。 此外，没有研究混合方法的四个模块中每个模块的重要性，并且该研究没有使用新数据重新校准模型：模型训练一次并在全年中进行评估。 类似地，[86]提出了一种CNN混合模型，该模型使用互信息、随机森林、灰色关联分析和递归特征消除进行特征选择。 与大多数模型不同，该算法经过训练对价格进行分类，而不是预测其标量值；但是，没有提供如何完成此过程的详细信息。 此外，该方法仅与更简单的 ML 方法进行比较，并使用不到一年的数据进行评估（该研究使用 1 年进行测试和训练，但未指定分割时间）。 同样，[36]提出了微电网背景下基于CNN和RNN的混合模型；与其他研究一样，该方法是在小数据集中进行评估的，没有与最先进的统计方法进行比较，并且没有指定训练数据集和测试数据集之间的确切划分。

2.3 混合方法

在EPF领域，过去5年最受关注的研究领域是混合预测方法。 在此期间，已经发表了 100 多篇提出新混合方法的文章，即比基于 DL 的文章多大约 5 倍。 混合模型是非常复杂的预测框架，由多种算法组成。 通常，它们至少包含以下五个模块中的两个：

• 分解数据的算法。

• 一种特征选择算法。

• 一种数据聚类算法。

• 组合预测的一个或多个预测模型。

• 某种类型的启发式优化算法，用于估计模型或其超参数。

就分解方法而言，应用最广泛的技术是小波变换[17,19,51,52,41,49,34,22,24,89]。 替代方法包括经验模态分解[90, 32]、变分模态分解[27, 48]和奇异谱分析[91, 92]。

对于特征选择，最常用的算法是相关分析[41,42,93,94,32]和互信息技术[95,18,52,42,96,97 ]。 其他算法包括具有递归特征消除[50]或Relief-F[50]的分类和回归树。

对于聚类数据，算法通常基于以下四种之一：k-means [26, 98]、自组织映射[19, 26, 99] 、增强型博弈论聚类 [26] 或模糊聚类 [100, 52]

预测模型的选择更加多样化。 最广泛使用的方法是标准MLP [19, 51, 41, 42, 91, 92, 96, 94, 32, 20, 97]，其次是基于自适应网络的方法模糊推理系统（ANFIS）[90,95,19]，径向基函数网络[100,24,20]，以及自回归模型，如ARMA或ARIMA [90,22,24,20]。 其他模型包括LSTM [17]、线性回归[50]、极限学习机[50, 22]、CNN [50 ]、贝叶斯神经网络[26, 99]、指数GARCH[90]、回声状态神经网络[27]、 Elman 神经网络 [18] 和支持向量回归器 [20]。 值得注意的是，在许多方法中，混合方法并不考虑单一的预测模型，而是结合了其中的多个模型[50,90,20,24,19,97]。

正如预测模型一样，启发式优化算法的多样性也很大。 虽然最常用的算法是粒子群优化 [95,51,100,48,96,22]，但也使用了许多其他方法：微分进化 [27]、遗传算法 [95]、回溯搜索 [95]、确定性退火 [100]、蝙蝠算法 [41]、基于汽化降水的水循环算法 [93]、杜鹃搜索 [92，94]或蜜蜂交配优化 [24]。

尽管已发表的作品数量众多，但混合方法的研究仍遇到与前面讨论的相同的问题。 首先，大多数研究要么避免与成熟的方法进行比较[42,21,48,49,34,25,50,90,27,95,18,19,100,20,93] 或使用过时的方法进行比较[26, 51, 52, 22, 41, 24, 91, 92]。 因此，无法准确确定新提出的方法的准确性。

其次，所考虑的研究通常采用非常小的数据集，包括几天[17,18,19,20,21,22]或几周[24,25,22, 26、27、95、18、19、93、49、41、51、100、42、91、92]。 因此，得出结论几乎是不可能的，也不清楚准确度结果是否只是选择方便的测试周期的结果。

除了这两个问题之外，对于许多混合方法，没有分析选择不同混合组件的变体的影响[24,21,50,51,52,27,20,41,42,91,92,25] 。 因此，尚不清楚各个组件的相关性或有用性如何。

2.4最先进的模型

由于比较 EPF 模型时所描述的问题，很难确定什么是最先进的方法。 尽管如此，考虑到过去几年进行的研究，可以说 LEAR 是一个非常准确（如果不是最准确）的线性模型。 此外，还可以认为，通过使用方差稳定变换、组合针对不同校准窗口获得的预测和/或使用长期季节性分解来变换价格，可以进一步提高该模型的准确性。

对于机器学习模型来说，选择更加困难，因为现有的比较质量较差。 考虑到预测模型方面最完整的基准研究[59]，具有两层的简单 DNN 似乎是最好的 ML 模型之一。 特别是，虽然模型更复杂，例如LSTM 可能会更准确，但目前没有可靠的证据来验证这一说法。

对于混合模型，建立最佳模型是一项不可能完成的任务。 首先，虽然已经提出了许多混合方法，但它们尚未相互比较，也没有与 LEAR 或 DNN 模型进行比较。 其次，由于大多数研究没有评估每个混合组件的单独影响，因此也不可能为每个混合组件建立最佳算法，例如目前还不清楚什么是最好的聚类、特征选择方法或数据分解方法。

考虑到这一点，我们将考虑使用 LEAR 和 DNN 作为拟议的开放访问基准。 特别是，这两种方法不仅准确度高，而且比较简单。 因此，我们认为它们是比较新的复杂 EPF 预测方法的最佳基准。

3 开放访问基准数据集

该论文的第一个贡献是提供了一个大型的开放获取基准数据集，可以在该数据集上测试新方法，以及所提出的开放获取方法的日前预测。 本节我们介绍这个数据集，可以访问 使用为本研究构建的 python 库。

3.1 一般特征

为了使 EPF 中的基准数据集公平，它应该满足三个条件：1）包含多个电力市场，以便可以在不同条件下测试新模型的功能，2）足够长，以便可以使用外部分析算法- 跨度 1-2 年的样本数据集，3) 足够新，包括由于 RES 集成而产生的价格影响。

基于这些条件，我们提出了代表五个不同日前电力市场的五个数据集，每个数据集包含 6 年的数据。 每个市场的价格都有非常独特的动态，即它们在负价格、零价格和价格尖峰的频率和存在方面都存在差异。 此外，由于电价取决于外生变量，每个数据集还包含两个额外的时间序列：对每个市场不同的两个有影响力的外生因素的日前预测。 每个数据集的长度等于 2184 天，即六年 364 天或 $6\times 52=312$ 周. 所有可用的时间序列均使用当地时间保存，夏令时的处理方法是对额外小时中的两个值进行算术平均或对缺失观测值的相邻值进行插值。

3.2 北池

第一个数据集代表 Nord Pool (NP)，即北欧国家的欧洲电力市场，时间跨度为 2013 年 1 月 1 日至 2018 年 12 月 24 日。 该数据集包含日前价格的每小时观测值、日前负荷预测和日前风力发电预测。 该数据集是使用北欧电力交易所 Nord Pool [54] 网页上免费提供的数据构建的。 图2（上）显示了数据集的电价时间序列；可以看出，价格总是正数，很少出现零价格，并且很少出现价格飙升。

3.3PJM

第二个数据集来自美国宾夕法尼亚州-新泽西州-马里兰州 (PJM) 市场。 它涵盖了与 Nord Pool 相同的数据点，即从 2013 年 1 月 1 日到 2018 年 12 月 24 日。 这三个时间序列是：Commonwealth Edison (COMED)（位于伊利诺伊州的一个区域）的区域价格和两个日前负载预测系列，一个描述系统负载，第二个描述系统负载。一是 COMED 区域负荷。 该数据可在 PJM 网站 [102] 上免费获取。 图2（下）表示数据集的电价时间序列；与 NP 市场一样，价格始终为正，零价格很少见；然而，与 NP 市场的价格不同，高峰经常出现。

图2： 五个数据集中两个数据集（即 Nord Pool 和 PJM）的电价时间序列，在开放访问基准数据集中考虑（请注意，每个数据集还包括两个未在此处绘制的外生时间序列）。

3.4EPEX-BE

第三个数据集代表 EPEX-BE 市场，即比利时日前电力市场，由 EPEX SPOT 运营。 该数据集的时间跨度为2011年1月9日至2016年12月31日。 这两个外生数据系列代表法国的日前负荷预测和日前发电预测。 虽然这一选择可能令人惊讶，但事实证明[43]这两个是比利时价格的最佳预测因子。 价格数据可在 ENTSO-E 透明度平台[101]和 ELIA 网站[103]中免费获取，负荷和发电日前预测可免费获取在[104]中。 值得注意的是，这个数据集特别有趣，因为它更难预测。 图3（上）显示了数据集的电价时间序列；与PJM和NP市场的价格不同，负价格和零价格出现的频率更高，而且价格飙升也很常见。

3.5EPEX-FR

第四个数据集代表 EPEX-FR 市场，即法国日前电力市场，也由 EPEX SPOT 运营。 该数据集与 EPEX-BE 数据集跨越同一时期，即从 2011 年 1 月 9 日到 2016 年 12 月 31 日。 除了电价之外，该数据集还包括日前负荷预测和日前发电预测。 与以前一样，价格数据可从 ENTSO-E 透明平台[101]免费获取，负荷和发电日前预测可在 RTE [104] 网页上免费获取，即法国的传输系统运营商 (TSO)。 图3（中）显示了数据集的电价时间序列；与 EPEX-BE 市场一样，负价格、零价格和尖峰非常常见。

3.6EPEX-DE

最后一个数据集描述了 EPEX-DE 市场，即德国电力市场，也由 EPEX SPOT 运营。 该数据集的时间跨度为2012年1月9日至2017年12月31日。 除价格外，该数据集还包括 TSO Amprion 区域的日前区域负荷预测以及 3 个最大区域的每日风能和太阳能发电汇总预测 TSO（Amprion、TenneT 和 50Hertz）。 价格数据可从 ENTSO-E 透明平台[101]免费获取，区域负荷日前预测可在 Amprion [105] 网站上免费获取，以及 Amprion [105]、50Hertz [106] 和 TenneT [107] 网站上的风能和太阳能预报。 图3（下）显示了数据集的电价时间序列；可以看出，虽然负价格和零价格比其他四个市场更常见，但价格飙升的情况却更为罕见。

图3： 开放访问基准数据集中考虑的五个数据集中的三个（即 EPEX-BE、EPEX-FR 和 EPEX-DE）的电价时间序列（请注意，每个数据集还包括两个未在此处绘制的外生时间序列） 。 EPEX-BE 和 EPEX-FR 时间序列相似，因为 EPEX-FR 和 EPEX-BE 是高度耦合的市场[43]。 为了保持图的可读性，y 轴的上限低于最高价格；这仅影响 EPEX-FR 中的一个尖峰和 EPEX-BE 中的另一个尖峰。

3.7培训和测试周期

对于每个数据集，测试期定义为数据集的最后 104 周，即最后两年。 测试数据集的确切日期在表1中定义。

表1： 每个电力市场测试（样本外）数据集的开始和结束日期。

Market	Test period
Nord pool	27.12.2016 – 24.12.2018
PJM	27.12.2016 – 24.12.2018
EPEX-FR	04.01.2015 – 31.12.2016
EPEX-BE	04.01.2015 – 31.12.2016
EPEX-DE	04.01.2016 – 31.12.2017

值得注意的是，正如我们将在第 5 节中讨论的那样，选择两年作为测试期对于确保 EPF 良好的研究实践至关重要。

与测试数据集不同，训练数据集无法定义，因为它在不同模型之间会有所不同。 一般来说，训练数据集将包含所研究数据之前的任何数据。 然而，确切的数据会根据两个概念而变化，即校准窗口和重新校准：

• 虽然有四年的数据可用于估计模型，但可能需要仅使用最近的数据，例如以避免估计不再发挥作用的影响。 用于估计的过去数据量定义了校准窗口。

• 该模型可以估计一次，然后针对完整的测试数据集进行评估，或者可以每天不断地重新校准以纳入最新数据的输入。

例如，让我们考虑预测 2017 年 2 月 15 日 NP 的价格。 使用 52 周校准窗口且无需重新校准的模型将采用包含 2016 年 12 月 29 日至 2016 年 12 月 26 日（即测试期开始前一年）之间的数据的数据集。 相比之下，使用 104 周校准窗口和每日重新校准的模型将采用 2015 年 2 月 18 日至 2017 年 2 月 14 日之间的数据。

4开放获取基准模型

本文的第二个贡献是提供了一套最先进的开源预测方法作为开源 python 工具箱。 正如2.4节所述，LEAR [55]和DNN [59]模型不仅精度高，而且相对简单。 因此，我们实现了这两种方法，并作为建议的工具箱 [60, 61] 的一部分免费提供它们的代码。 值得注意的是，所提出的开放获取方法的使用是完全记录和自动化的，因此研究人员可以在没有专业知识的情况下测试和使用它们。

为了简单起见，这里提供的描述仅限于最低限度。 有关这两个模型的更多详细信息，我们参考原始论文[55, 59]。

4.1 输入功能

在描述每个模型之前，让我们定义所考虑的输入特征。 独立于模型，用于预测 $d$ 天（即 ${𝐩}_d={[p_{d,1},\mathrm{\dots },p_{d,24}]}^{\top }$)的 24 日前价格的可用输入特征是相同的：

• 前三天和一周前的历史日前价格，即${𝐩}_{d-1}$、${𝐩}_{d-2}$、${𝐩}_{d-3}$、${𝐩}_{d-7}$。

• $d-1$ 日提供的 $d$ 日两个感兴趣变量的日前预测（详细信息请参见第 3 节），即 ${𝐱}_d^1={[x_{d,1}^1,\mathrm{\dots },x_{d,24}^1]}^{\top }$ 和 ${𝐱}_d^2={[x_{d,1}^2,\mathrm{\dots },x_{d,24}^2]}^{\top }$；请注意，每个市场的关注变量都不同。

• 前一天和一周前感兴趣变量的历史日前预测，即${𝐱}_{d-1}^1$、${𝐱}_{d-7}^1$、${𝐱}_{d-1}^2$、${𝐱}_{d-7}^2$ 。

• 代表星期几的虚拟变量 ${𝐳}_d$。 对于线性模型，按照文献 [58, 55, 77] 中的标准做法，这是一个二进制向量 $𝐳={[z_{d,1},\mathrm{\dots },z_{d,7}]}^{\top }$，通过以下方式编码一周中的每一天将所有元素设置为零，除了标识星期几的元素，例如$[1,0,0,0,0,0,0]$ 代表星期一，$[0,1,0,0,0,0,0]$ 代表星期二。 在神经网络的情况下，为了简单起见，一周中的一天使用多值输入 $z_d\in \{1,\mathrm{\dots },7\}$ 进行建模。

总的来说，我们为每个 LEAR 模型总共考虑了 247 个可用输入特征，为每个 DNN 模型考虑了 241 个输入特征。 值得注意的是，虽然可用的输入特征相同，但每种方法执行不同的特征选择过程：

• 每个 LEAR 模型都使用 LASSO 作为嵌入特征选择来找到最佳特征集，即每个模型都使用 L1 正则化在 247 个特征中进行选择。

• 对于 DNN，如原始研究 [59] 中一样，使用树 Parzen 估计器 [108] 将输入特征与超参数一起优化（参见第 4.3 详细信息）。

在这两种情况下，特征选择都是完全自动化的，不需要专家干预。

4.2 LEAR 模型

第一个模型是 LEAR 模型[55]，这是一个使用 LASSO 作为隐式特征选择方法估计的参数丰富的 ARX 模型。 为了增强模型，如[9]所示，使用反正双曲正弦（asinh）方差稳定变换对数据进行预处理。 为了简单起见，不考虑长期季节性分解；特别是，虽然它已被证明可以进一步提高 LEAR 的性能，但我们将其留待未来的研究。

如[77]所示，为了进一步增强模型，我们每天在不同的校准窗口长度上重新校准：8周、12周、3年和4年。 我们考虑将短窗口（8-12 周）与长窗口（3-4 年）结合起来，因为经验表明它可以带来更好的结果[77]。 在这种情况下，我们考虑至少 8 周，因为较低的窗口可能没有足够的信息来正确估计参数丰富的模型[77]。

用于预测 $d$ 天和 $h$ 小时价格 $p_{d,h}$ 的 LEAR 模型定义如下：

$p_{d,h}=$ $f({𝐩}_{d-1},{𝐩}_{d-2},{𝐩}_{d-3},{𝐩}_{d-7},{𝐱}_d^i,{𝐱}_{d-1}^i,{𝐱}_{d-7}^i,{𝜽}_h)+{\epsilon }_{d,h}$

$=$ ${\displaystyle \sum _{i=1}^{24}}{\theta }_{h,i}\cdot p_{d-1,i}$ $+$ ${\displaystyle \sum _{i=1}^{24}}{\theta }_{h,24+i}\cdot p_{d-2,i}$

$+{\displaystyle \sum _{i=1}^{24}}{\theta }_{h,48+i}\cdot p_{d-3,i}$ $+$ ${\displaystyle \sum _{i=1}^{24}}{\theta }_{h,72+i}\cdot p_{d-7,i}$

$+{\displaystyle \sum _{i=1}^{24}}{\theta }_{h,96+i}\cdot x_{d,i}^1$ $+$ ${\displaystyle \sum _{i=1}^{24}}{\theta }_{h,120+i}\cdot x_{d,i}^2$

$+{\displaystyle \sum _{i=1}^{24}}{\theta }_{h,144+i}\cdot x_{d-1,i}^1$ $+$ ${\displaystyle \sum _{i=1}^{24}}{\theta }_{h,168+i}\cdot x_{d-1,i}^2$

$+{\displaystyle \sum _{i=1}^{24}}{\theta }_{h,192+i}\cdot x_{d-7,i}^1$ $+$ ${\displaystyle \sum _{i=1}^{24}}{\theta }_{h,216+i}\cdot x_{d-7,i}^2$

$+{\displaystyle \sum _{i=1}^7}{\theta }_{h,240+i}\cdot z_{d,i}$ $+$ ${\epsilon }_{d,h}$ (2)

其中 ${𝜽}_h={[{\theta }_{h,1},\mathrm{\dots },{\theta }_{h,247}]}^{\top }$ 是 $h$ 小时 LEAR 模型的 247 个参数。当使用 LASSO 估计 (2) 时，许多参数变为零：

${\widehat{𝜽}}_h=$ $\underset{{𝜽}_h}{\text{argmin}}\{\text{RSS}+\lambda \Vert {{𝜽}_h\parallel }_1\}$

$=$ $\underset{{𝜽}_h}{\text{argmin}}\left\{\text{RSS}+\lambda {\displaystyle \sum _{i=1}^{247}}\left|{\theta }_{h,i}\right|\right\},$ (3)

其中 $\text{RSS}={\sum }_{d=8}^{N_d}{(p_{d,h}-{\widehat{p}}_{d,h})}^2$ 是训练残差平方和，${\widehat{p}}_{d,h}$ 价格预测，$N_d$ 是数据集中的天数，$\lambda \ge 0$ 是 LASSO 的调整（或正则化)超参数。 由于 LASSO 估计的计算速度，在每次日常重新校准期间，调节​​ L₁ 惩罚的超参数 $\lambda$ 都会得到优化。 这可以使用事前交叉验证程序[109]来完成。 在本研究中，为了进一步降低计算成本，我们提出了一种有效的混合方法来执行 $\lambda$ 的最优选择。 详细信息请参见4.2.2节。

4.2.1 正则化超参数

LASSO的超参数$\lambda$可以通过多种方式进行优化，每种方式都有不同的优点和缺点。 第一种方法是优化 $\lambda$ 一次，然后在整个测试期间保持固定。 尽管它需要非常低的计算成本，但这种方法的局限性在于它假设超参数$\lambda$不随时间变化。 这种假设可能会影响估计器的性能，因为即使市场可能发生变化，正则化参数也不会发生变化。

第二种方法是使用验证数据集定期重新校准超参数。 虽然该方法取得了良好的结果，但调整重新校准频率和校准窗口很复杂，计算成本很大，并且不同数据集的结果可能会有所不同[58]。

第三种选择是定期重新校准超参数，但使用交叉验证 (CV)：将数据拆分为不相交的分区，将每个可能的分区用作测试数据集，将其余数据用作训练数据集，并选择在所有分区中表现最佳的超参数[109]。 虽然这种方法精度很高，但其计算成本非常大。

第四种选择是定期更新超参数，但使用信息标准，例如Akaike 信息准则 (AIC) 或贝叶斯信息准则[57, 110, 69]。 和以前一样，这涉及训练多个 LASSO 模型来计算每个可能的超参数值的信息标准，这反过来又导致较高的计算成本。

最后，可以使用最小角度回归 (LARS) LASSO [111] 来估计模型，而不是坐标下降实现。 该估计过程的优点是可以计算整个 LASSO 解决方案路径，从而可以更快地计算信息标准或执行 CV。

4.2.2 选择正则化超参数

为了选择$\lambda$，我们提出了一种混合方法。 我们每天使用 LARS 方法和样本内 AIC 来估计超参数。 然后，使用从 LARS 方法获得的最佳 $\lambda$，我们使用传统的坐标下降实现重新校准 LEAR。

提出这种混合方法的原因是它在计算复杂性和准确性之间提供了良好的权衡。 特别是，它利用 LARS 的计算效率进行事前 $\lambda$ 选择，并在坐标下降 LASSO 的短校准窗口上具有预测性能。

值得注意的是，我们研究了多种选择$\lambda$的方法：（i）每日重新校准，CV，坐标下降； (ii) 使用 LARS 进行每日重新校准 CV； (iii) 使用 LARS 和 AIC 进行每日重新校准。 然而，第一种方法的计算成本太高（与DNN模型的成本处于同一数量级），另外两种方法的精度不好。 相比之下，所提出的方法的性能与使用 CV 的坐标下降 LASSO 相当，但计算成本要低一个数量级。

4.3 DNN模型

第二个模型是 DNN [59]，它是最简单的深度学习模型之一，其输入特征和超参数可以针对每个案例研究进行优化和定制，而无需专业知识。

4.3.1结构

DNN 是一个包含 4 层的深度前馈神经网络，采用多元框架（具有 24 个输出的单一模型），使用 Adam 进行估计，并使用树 Parzen 估计器[108]< 来优化其超参数和输入特征。 /t0>，即贝叶斯优化算法。 DNN 模型如图 4 所示。

图4： 示例 DNN 模型的可视化

4.3.2 训练数据集

为了估计超参数，训练数据集是固定的，包含测试期之前的四年。 为了评估测试数据集，DNN 每天使用四年的校准窗口进行重新校准。

在所有情况下，训练数据集都分为训练数据集和验证数据集，后者用于两个目的：执行早期停止[112]以避免过度拟合和优化超参数/特征。 虽然验证数据集始终包含 42 周，但训练数据集和验证数据集之间的划分取决于验证数据集是用于超参数/特征选择还是用于重新校准步骤：

• 为了估计超参数，由于验证数据集用于指导优化过程，因此选择验证数据集作为训练数据集的最后 42 周。 这样做是为了保持训练和验证数据集完全独立并避免过度拟合.

• 对于测试阶段，由于验证数据集仅用于早期停止，因此它是通过从用于训练的总共 208 周中随机选择 42 周来定义的。 这样做是为了确保用于优化 DNN 参数的数据集包含最新数据.

例如，让我们考虑 Nord Pool 市场中 DNN 的训练和评估。 在评估 DNN 之前，需要优化 DNN 的超参数和特征。 为此，所使用的数据集包括2013年1月1日至2016年12月26日之间的数据，其中训练数据集代表前166周，即2013年1月1日至2016年3月7日，验证数据集代表最后42周，即2016年3月8日至 2016 年 12 月 26 日。 在模型评估期间，即在超参数和特征选择之后，训练数据集和验证数据集包含过去四年的数据，但被随机排列。 例如，要评估 2017 年 2 月 15 日期间的 DNN，训练和验证数据集将代表 2013 年 2 月 20 日至 2017 年 2 月 14 日之间的数据，其中随机选择的 166 周将定义训练数据集，其余 42 周将定义验证数据集。

4.3.3 超参数和特征选择

与原始 DNN 论文[59]一样，使用树结构 Parzen 估计器[108]（一种基于顺序的贝叶斯优化算法）一起优化超参数和输入特征基于模型的优化。 为此，将特征建模为超参数，每个超参数代表一个二元变量，用于选择模型中是否包含特定特征（如[43]中所述）。 更详细地说，为了选择 241 个可用输入特征中哪些是相关的，该方法采用 11 个决策变量，即 11 个超参数：

• 四个二进制超参数 (1-4)，指示是否包含历史日前价格 ${𝐩}_{d-1}$、${𝐩}_{d-2}$、${𝐩}_{d-3}$、${𝐩}_{d-7}$。 选择每天完成，例如该算法要么选择 $j$ 天前的所有价格 ${𝐩}_{d-j}$，要么无法选择 $d-j$ 天的任何价格，因此有四个超参数。

• 两个二元超参数 (5-6)，指示是否包含每个日前预测 ${𝐱}_d^1$ 和 ${𝐱}_d^2$。 与过去的价格一样，这是全天完成的，即超参数要么选择 ${𝐱}_d^j$ 中的所有元素，要么不选择。

• 四个二元超参数 (7-10)，指示是否包含历史日前预测 ${𝐱}_{d-1}^1$、${𝐱}_{d-1}^2$、${𝐱}_{d-7}^1$ 和 ${𝐱}_{d-7}^2$. 这种选择也是每天进行的。

• 一个二进制超参数 (11)，指示是否包含表示星期几的变量 $z_d$。

简而言之，10 个二进制超参数指示是否每个包含 24 个输入，另一个二进制超参数指示是否包含虚拟变量。

除了选择特征之外，该算法还优化了八个额外的超参数：1）每层神经元的数量，2）激活函数，3）丢失率，4）学习率，5）是否使用批量归一化， 6) 数据预处理技术的类型，7) DNN 权重的初始化，以及 8) 应用于每层内核的 L1 正则化系数。

与每天重新校准的 DNN 权重不同，超参数和特征仅使用测试期之前四年的数据进行一次优化。 值得注意的是，算法会运行多次 $T$ 次迭代，每次迭代时，算法都会推断出超参数/特征的潜在最佳子集，并在验证数据集中评估该子集。 对于所提出的开放访问基准模型，选择 $T$ 为 1500 次迭代，以获得准确性和计算要求之间的权衡.

4.4合奏

对于开放访问基准，为了在评估集成技术时进行基准预测，我们还提出 LEAR 和 DNN 的集成作为集成方法的开放访问基准。 对于 LEAR，集合是根据四个校准窗口长度（8 周、12 周、3 年和 4 年）的预测的算术平均值构建的。 对于 DNN，集成被构建为四个不同 DNN 的算术平均值，这些 DNN 是通过运行超参数/特征选择过程四次来估计的。 特别是，超参数优化是渐近确定性的，即在无限次迭代中找到全局最优值。 然而，对于有限次数的迭代并使用不同的初始随机种子，该算法是不确定的，并且每次运行都提供一组不同的超参数和特征。 尽管每个超参数/特征子集都代表局部最小值，但不可能确定哪个子集更好，因为它们在验证数据集上的相对性能几乎相同。 这种效果可以解释为 DNN 是一个非常灵活的模型，因此不同的网络架构能够获得同样好的结果。

4.5软件实现

所提出的开放访问模型是用 python 开发的：LEAR 使用 scikit-learn 库 [113] 实现，DNN 模型使用Keras 库[114]。 选择 python 的原因是它是使用最广泛的编程语言之一，特别是在机器学习和统计推断方面。

5 EPF 指南和最佳实践

正如引言中所提到的，EPF 领域存在一些问题，这些问题阻碍了可重复的研究，也无法就哪种方法最有效得出强有力的结论。 在本节中，我们概述了其中一些问题，并提供了一些有关如何解决这些问题的指南。

5.1 测试周期的长度

EPF 的常见做法是在非常短的测试周期内评估新方法。 典型的方法是使用 4 周的数据[26, 95, 18, 19, 51, 41, 42, 93, 99, 49, 91, 92, 96, 22, 24, 25, 94 来评估该方法, 30, 29, 87]，每周代表一年中的四个季节之一。 这是有问题的，原因有以下三个：

• 选择四个星期可能会导致挑选出给定方法表现出色的几周，例如一种在尖峰情况下表现不佳的方法可以在一周内用较少的尖峰进行评估，从而导致对预测准确性的估计出现偏差。 虽然这是大多数研究人员会避免的道德问题，但将四个星期的测试期作为标准确实会助长不当行为，应该避免。

• 假设这四周是随机选择的，并且在选择时不引入偏差，仍然无法保证这四周能够代表全年的价格行为。 特别是，即使在给定的季节内，价格动态也可能发生巨大变化，例如冬季有几周有充足的阳光和风，但也有几周没有阳光和风。 因此，每个季节仅选择一周很少能代表给定数据集中预测者的平均表现。

• 电网中有些情况并不经常发生，但会对电价产生很大影响，例如当多个发电厂同时进行维护时。 需要在这些条件下评估预测方法，以确保它们在极端事件下也准确。 通过选择四个星期，大多数影响都可以被忽略。

为了避免此问题，我们建议使用至少一年作为测试期。 这确保了预测方法的评估考虑了一年中发生的全套影响。 为了保证所有研究人员都能访问此类数据，我们提出的开放获取基准数据集包含来自多个市场的数据，并采用两年的测试期。 此外，可以使用建议的 epftoolbox 库[60, 61]直接访问开放访问基准。

5.2基准模型

许多 EPF 出版物的第二个问题是新方法没有与成熟的方法进行比较[42, 21, 48, 49, 34, 25, 50, 90, 27, 95, 18, 19, 100, 20 , 93, 16, 14, 23, 46, 78, 36] 或使用过时的方法或简化的方法进行比较[26, 51, 52, 22, 41, 24, 91, 92, 44、13、29、30、28、45、15、47、85、86、37]。

这就带来了一个问题，因为很难确定哪些算法效果最好，哪些算法效果不好。 为了解决这个问题，我们建议使用成熟的、最先进的开源方法和通用的基准数据集。 考虑到这一点，我们提供并免费提供包含 5 个市场的开放访问基准数据集（如第 3 节所述），并且我们已经实施、彻底测试并免费提供两种状态最先进的预测方法（如第 4 节中所述）及其对两年内所有 5 个数据集的日前预测（如第 6 节中所述） >)。 此外，我们在易于使用的工具箱[60]中实现了所有这些资源，并构建了足够的文档[61]。

5.3开放获取

EPF 领域的第三个问题是数据集通常不公开，并且所提出方法的代码不共享。 这带来了四个明显的问题：

• 由于无法获得数据，研究无法重现。 这违背了科学的主要原则之一，因为所有研究都应该是可重复的。

• EPF 研究的进展受到阻碍，因为很难确定哪种方法有效。 因此，研究人员花费不必要的时间重新评估已经评估过的方法。

• 将新方法与已发表的方法进行比较变得非常具有挑战性，因为研究人员必须重新实施文献中的方法。 因此，通常避免与最先进的方法进行比较，而通常将新方法与简单且易于实现的方法进行比较。

• 当提出新方法时，它们无法与相同情况下已发表的方法进行比较。 这导致在不同条件下进行比较，并为原始方法的错误实现打开了大门，进而导致不正确的结果。

由于这些问题至关重要，我们直接尝试通过提供一个开放访问基准/工具箱来解决这些问题，其中包括五个数据集、两种最先进的方法以及后两种方法的一组日前预测。 此外，我们鼓励 EPF 的研究人员共享开发的代码并共享他们的数据集或使用开放访问基准数据集。

5.4 点预测的评估指标

在EPF领域，最广泛使用的衡量点预测准确性的指标是平均绝对误差（MAE）、均方根误差（RMSE）、和平均绝对百分比误差 (MAPE)：

$\mathrm{MAE}$ $={\displaystyle \frac{1}{24N_{\mathrm{d}}}}{\displaystyle \sum _{d=1}^{N_{\mathrm{d}}}}{\displaystyle \sum _{h=1}^{24}}|p_{d,h}-{\widehat{p}}_{d,h}|,$ (4)

$\mathrm{RMSE}$ $=\sqrt{{\displaystyle \frac{1}{24N_{\mathrm{d}}}}{\displaystyle \sum _{d=1}^{N_{\mathrm{d}}}}{\displaystyle \sum _{h=1}^{24}}{(p_{d,h}-{\widehat{p}}_{d,h})}^2},$ (5)

$\mathrm{MAPE}$ $={\displaystyle \frac{1}{24N_{\mathrm{d}}}}{\displaystyle \sum _{d=1}^{N_{\mathrm{d}}}}{\displaystyle \sum _{h=1}^{24}}{\displaystyle \frac{|p_{d,h}-{\widehat{p}}_{d,h}|}{|p_{d,h}|}},$ (6)

其中$p_{d,h}$和${\widehat{p}}_{d,h}$分别表示$d$日和$h$小时的实际价格和预测价格，以及$N_{\mathrm{d}}$是样本外测试期间（即测试数据集中）的天数。

由于绝对误差很难在不同数据集之间进行比较，因此 MAE 和 RMSE 并不总是提供很多信息。 此外，由于电力成本和利润通常与电价线性相关，因此基于二次误差的指标，例如RMSE 很难解释，并且不能准确代表大多数预测用户的根本问题。 特别是，在大多数电力交易应用中，潜在风险、利润和成本线性取决于价格和预测误差。 因此，线性指标比二次指标更好地代表了预测错误的潜在风险。

同样，由于 MAPE 值随着价格接近于零而变得非常大（无论实际的绝对误差如何），因此 MAPE 通常由低价时期主导，并且信息量也不是很大。 而定义的对称平均绝对百分比误差 (sMAPE) 作为：

$$\mathrm{sMAPE}=\frac{1}{24N_{\mathrm{d}}}\sum _{d=1}^{N_{\mathrm{d}}}\sum _{h=1}^{24}2\frac{|p_{d,h}-{\widehat{p}}_{d,h}|}{|p_{d,h}|+|{\widehat{p}}_{d,h}|}$$ (7)

解决了其中一些问题，它具有（与任何基于百分比误差的指标一样）具有未定义均值和无限方差[116]的统计分布。

5.4.1 缩放误差

在这种情况下，一些研究主张使用缩放误差[5,116,117]，其中缩放误差只是简单预测的样本内 MAE 缩放后的 MAE。 如果缩放误差比样本中评估的平均朴素预测更好/更差，那么它可以很好地解释为低于/大于 1。

基于此概念的指标是平均绝对比例误差 (MASE)，在一步超前预测的背景下定义为[116]：

$$\mathrm{MASE}=\frac{1}{N}\sum _{k=1}^N\frac{|p_k-{\widehat{p}}_k|}{\frac{1}{n-1}{\sum }_{i=2}^n|p_i^{\mathrm{in}}-p_{i-1}^{\mathrm{in}}|},$$ (8)

其中 $p_i^{\mathrm{in}}$ 是样本内的 $i^{\mathrm{th}}$ 价格，即训练、数据集（请注意，在 EPF $i=24d+h$ 中），$p_{i-1}^{\mathrm{in}}$ 是$p_i^{\mathrm{in}}$ 的一步朴素预测，即 ${\widehat{p}}_i^{\mathrm{in}}$,$N$ 是样本外（测试）数据点的数量，$n$ 样本内（训练）数据点的数量。 对于季节性时间序列，MASE 可以使用分母 [5, 117] 中季节性朴素模型的 MAE 来定义。

5.4.2相关措施

虽然缩放误差确实解决了更传统指标的问题，但它们还有其他相关问题，导致它们不适合 EPF 环境：

1. 由于 MASE 依赖于样本内数据集，因此具有不同校准窗口的预测方法自然必须考虑不同的样本内数据集。 因此，每个模型的 MASE 将基于不同的比例因子，并且模型之间无法进行比较。

2. 同样的论点适用于带有和不带有滚动窗口的模型。 后者将在每个时间点使用不同的样本内数据集，而前者将保持样本内数据集不变。

3. 在具有不同校准窗口的模型系综中，由于系综的校准窗口未定义，因此无法定义 MASE。

4. 由于电价不是固定的，因此在不同时间序列之间进行比较是有问题的。 例如，与我们考虑相同市场但样本内/样本外数据集相反的情况相比，具有峰值的样本内数据集和没有峰值的样本外数据集将导致更小的 MASE。

为了解决这些问题，我们认为更好的指标是相对 MAE (rMAE) [116]。 与 MASE 类似，rMAE 通过朴素预测的 MAE 对 MAE 进行归一化。 然而，朴素预测不是考虑样本内数据集，而是基于样本外数据集构建。 在 EPF 中，rMAE 定义为：

$$\mathrm{rMAE}=\frac{{\displaystyle \frac{1}{24N_{\mathrm{d}}}}{\displaystyle \sum _{d=1}^{N_{\mathrm{d}}}}{\displaystyle \sum _{h=1}^{24}}|p_{d,h}-{\widehat{p}}_{d,h}|}{{\displaystyle \frac{1}{24N_{\mathrm{d}}}}{\displaystyle \sum _{d=1}^{N_{\mathrm{d}}}}{\displaystyle \sum _{h=1}^{24}}|p_{d,h}-{\widehat{p}}_{d,h}^{\mathrm{naive}}|},$$ (9)

其中 $\frac{1}{24N_d}$ 因子在分子和分母中抵消。 天真的预测有三种自然选择：

• ${\widehat{p}}_{d,h}^{\mathrm{naive},1}=p_{d-1,h}$，

• ${\widehat{p}}_{d,h}^{\mathrm{naive},2}=p_{d-7,h}$，

• p^d,h幼稚,0>31>=2>{pd−1,h,if d is Tue, Wed, Thu, or Fri,pd−7,小时,0>如果d 是周六、周日或周一。

在 EPF 的背景下，使用 ${\widehat{p}}_{d,h}^{\mathrm{naive},2}=p_{d-7,h}$ 的 rMAE 可以说是最佳选择，原因有二：(i) 它比基于 ${\widehat{p}}_{d,h}^{\mathrm{naive},3}$ 的 rMAE 更容易计算，并且与基于 rMAE 不同在 ${\widehat{p}}_{d,h}^{\mathrm{naive},1}$ 上，它捕获每周的效果； (ii) 给定一组预测模型，模型准确性的相对排名独立于所使用的朴素基准（参见本小节最后一段的解释）。 因此，在本文的其余部分中，我们将使用 rMAE 显式引用基于 ${\widehat{p}}_{d,h}^{\mathrm{naive},2}$ 的 rMAE。 值得注意的是，与 rMAE 类似，我们还可以通过将每个预测的 RMSE 除以朴素预测的 RMSE 来定义相对 RMSE (rRMSE)。

由于消除了对样本内数据集的依赖，因此使用滚动窗口不再是问题，因为样本外数据集保持不变。 同样，可以比较具有不同校准窗口的模型，并正确定义系综的 rMAE。 此外，由于该指标是通过同一样本的朴素预测的 MAE 进行归一化的，因此在非平稳时间序列中得出结论的问题得到了缓解。 和以前一样，我们还可以定义季节性时间序列的 rMAE：

由于其更好的特性，rMAE 应始终用于评估 EPF 中的新方法。 特别是，虽然它可以与其他指标结合使用，但包含和使用 rMAE 以获得更公平的评估和比较非常重要。

考虑到这一点，开放访问基准数据集中开放访问模型的准确性是在考虑 rMAE、sMAPE、MAPE、MAE 和 RMSE 的情况下计算的。 然后，提供了对不同指标的分析（参见第 6.4.2 节）。 最后，预测本身以 csv 文件形式提供，以便在将来开发出更充分的指标时可以更新准确性结果。

最后，让我们注意，给定一组预测模型，模型准确性的相对排名独立于 rMAE 或 MASE 使用的朴素基准。 更改它只是更改分母，但保留分子，并且由于分母的变化在所有方法中都是相同的，因此保留了相对排名。 此外，由于分子是MAE，因此基于rMAE或MASE的排名将与基于MAE的排名相同。

5.5统计测试

虽然使用足够的指标来比较预测的准确性很重要，但也有必要分析准确性的差异是否具有统计显着性。 这对于得出准确性差异是否确实存在而不仅仅是由于预测之间的随机差异而言至关重要。 尽管统计测试很重要，但 EPF 文献[5]却低估了它的使用。 特别是，大多数出版物仅比较误差指标的准确性，而不分析准确性差异的统计显着性。 这种趋势需要得到纠正，以便将预测方法与统计的严谨性进行比较。 特别是，新的研究需要确保：

• 任何新方法都会使用统计测试与成熟的方法进行比较。

• 所提出方法的预测以开放获取数据集的形式提供。 这确保了当提出新模型时，可以通过统计测试来分析与已发布方法的准确性差异。

为了便于统计测试，我们在提议的开源 epftoolbox 库 [60, 61] 中包含了 EPF 中使用最广泛的两个统计测试，即 Diebold-Mariano 和贾科米尼-怀特测试。

5.5.1 迪堡-马里亚诺检验

Diebold-Mariano (DM) 检验[118]可能是评估预测准确性差异显着性的最常用工具。 这是对损失微分系列均值假设的渐近z检验：

$${\mathrm{\Delta }}_{d,h}^{\mathrm{A},\mathrm{B}}=L({\epsilon }_{d,h}^{\mathrm{A}})-L({\epsilon }_{d,h}^{\mathrm{B}})$$ (10)

为零，其中${\epsilon }_{d,h}^{\mathrm{Z}}=p_{d,h}-{\widehat{p}}_{d,h}$是模型Z在$d$天和$h$小时的预测误差，$L(\cdot )$是损失函数。 对于点预测，我们通常取$L({\epsilon }_{d,h}^{\mathrm{Z}})={|{\epsilon }_{d,h}^{\mathrm{Z}}|}^p$和$p=1$或$2$，分别对应绝对损失和平方损失；对于概率预测，$L(\cdot )$ 可以是任何严格正确的评分规则，特别是弹球损失、连续排名概率得分 (CRPS) 或能量得分[6 、 65、 66]。 给定损失微分级数，我们计算统计量：

$$\mathrm{DM}=\sqrt{N}\frac{\widehat{\mu }}{\widehat{\sigma }},$$ (11)

其中$\widehat{\mu }$和$\widehat{\sigma }$分别是${\mathrm{\Delta }}_{d,h}^{\mathrm{A},\mathrm{B}}$的样本均值和标准差，$N$是out-of的长度-样本测试期。 在协方差平稳性为${\mathrm{\Delta }}_{d,h}^{\mathrm{A},\mathrm{B}}$的假设下，DM统计量是渐近标准正态的，并且可以轻松计算单边或双边渐近尾部概率。

重要的是要注意三件事。 首先，DM 测试是无模型的，即它比较（模型的）预测，而不是模型本身。 其次，尽管在标准公式[118]中，DM检验通过预期损失差异为零的零假设来比较预测，但计算$p$值的信息更丰富。两个单方面的测试：

1. 具有原假设$H_0:E({\mathrm{\Delta }}_{d,h}^{\mathrm{A},\mathrm{B}})\le 0$，

2. 备择假设为 null $H_1:E({\mathrm{\Delta }}_{d,h}^{\mathrm{A},\mathrm{B}})\ge 0$。

$p$ 值越低，即越接近零，观测数据与原假设越不一致。 如果 $p$ 值小于普遍接受的 5% 水平，则通常会拒绝原假设。 在 DM 测试中，这意味着模型 B 的预测明显比模型 A 的预测准确。

第三，DM 检验（仅）要求损失微分是协方差平稳的。 日前市场的预测可能无法满足这一要求，因为第二天所有 24 小时的预测是使用相同的信息集同时计算的。 因此，根据[65]，我们建议在日前 EPF 的背景下使用两种 DM 测试变体：

• 执行了 24 次独立测试的单变量变体，一天中的每一个小时，以及基于一个模型的预测明显优于另一个模型的预测的小时数（即拒绝原假设的小时数）的比较，

• 多变量变量​​，使用“每日”或多变量损失微分序列在所有小时内联合执行测试：

  $${\mathrm{\Delta }}_d^{\mathrm{A},\mathrm{B}}={\Vert {\epsilon }_d^{\mathrm{A}}\Vert }_p-{\Vert {\epsilon }_d^{\mathrm{B}}\Vert }_p,$$ (12)

  其中${\epsilon }_d^{\mathrm{Z}}$是模型Z在$d$天的预测误差的24维向量，${\Vert {\epsilon }_d^{\mathrm{Z}}\Vert }_p={({\sum }_{h=1}^{24}{|{\epsilon }_{d,h}^{\mathrm{Z}}|}^p)}^{1/p}$是$p$的第范数该向量与 $p=1$ 或 $2$。

单变量版本的测试具有提供更深入分析的优点，因为它表明哪种预测对于一天中的哪个小时 [120, 121, 55, 59, 6, 66] 明显更好。 [57] 中引入的多变量版本可以更好地表示结果，因为它将比较总结为单个 $p$ 值，可以使用热图方便地进行可视化排列成棋盘[9,58,76,10]，见图5。

5.5.2 贾科米尼-怀特测试

在一些最近的 EPF 研究[77,122,123]中，DM 测试已被 Giacomini-White (GW) 测试[124]取代，用于条件预测能力。 后者是首选，因为它可以被视为无条件预测能力的 DM 测试的推广：同时这两种测试都可以用于嵌套和非嵌套模型，只有 GW 测试通过“调节”来解释参数估计的不确定性[65]。

与 DM 测试一样，GW 测试在日前 EPF 中也有两种变体 – 单变量和多变量。 不失一般性，让我们关注后者。 它首先为一对预测（模型 A 和 B）构建一个多元损失序列，请参阅 (12)。 接下来，测试考虑以下回归：

$${\mathrm{\Delta }}_d^{\mathrm{A},\mathrm{B}}={\mathit{\varphi }}^{\prime }{X}_{d-1}+{ϵ}_d,$$ (13)

其中 $X_{d-1}$ 包含来自 $d-1$ 天信息集的元素，即常量和 ${\mathrm{\Delta }}_d^{\mathrm{A},\mathrm{B}}$ 的滞后。 请注意，${ϵ}_d\ne {\epsilon }_d^{\mathrm{Z}}$（即${ϵ}_d$)不是第$d$天和模型$Z$的预测误差的24维向量，而只是一个错误回归中的项。 另请注意，使用此表示法，DM 测试可以写为 [125]：

$${\mathrm{\Delta }}_d^{\mathrm{A},\mathrm{B}}=\mu +{ϵ}_d,$$ (14)

即 $X_{d-1}$ 仅包含一个常量。 最后，与 DM 测试一样，为了检查预测准确性差异的显着性，可以计算两个单侧测试的 $p$ 值。 解释和可能的可视化（见图5)与 DM 测试类似。

5.6重新校准

许多 EPF 研究的一个问题是预测模型没有重新校准。 相反，它们通常使用训练数据集进行一次估计，然后直接在整个测试数据集中进行评估。 这是有问题的，因为它并不代表现实生活条件，在现实生活中，预测模型会被重新训练（通常每天）以考虑最新的市场信息。

为了拥有在现实条件下评估的模型，需要考虑新的市场信息流来重新训练它们。 例如，对于日前市场，当有新信息可用时，应该每天重新训练预测模型。 考虑到一年的测试期，这意味着实际评估需要对预测模型进行 365 次估计。

5.7事前超参数优化

当前 EPF 文献中的一个常见问题是，超参数选择通常要么是事后完成的 [51, 126, 127, 128, 129, 49]，要么其细节没有得到充分解释 [13、82、79、21、93、99、48、91、92、96、37]。 例如，当提出基于神经网络的模型时，通常不会提供如何选择神经元数量的细节。 在其他情况下，虽然提供了该方法，但它通常基于使用测试数据集分析神经元的不同配置并选择最有效的配置，即事后超参数选择。

没有提供有关如何选择超参数的足够详细信息是一个明显的问题，因为它阻碍了重复研究。 同样，事后执行超参数优化会导致测试数据集过度拟合，即使用用于评估模型的相同数据集对模型进行部分优化，并且它使模型相对于其他模型具有不公平且不存在的优势。

为了防止这种情况，应明确解释超参数的选择，并始终使用验证数据集事前执行。 出于这个动机，对于提出的开放访问方法，我们不仅解释了如何获得超参数，而且还在工具箱 [60, 61] 中提供了用于超参数选择和文件的模块包含当前研究的超参数优化的结果。

5.8计算时间

一个更常见的问题是，很少对新模型的计算要求进行比较[51, 41, 42, 91, 92, 96, 94, 32, 97, 95, 19, 100, 24 、20、90、22、37]。 尽管一个模型可能比另一个模型稍微好一些，但如果其计算要求大得多，则可能不值得将其部署在实际应用中。 特别是，更高的计算要求可能会带来两个问题：

1. 如前所述，预测模型最好每天重新校准。 因此，只有当预测方法的计算时间允许进行重新校准时，预测方法才适用。 在这种情况下，估计模型的最大可用时间将取决于每个电力市场，但根据经验，可以认为任何需要超过 30 分钟或 1 小时的模型不太可能适合预测现货市场。

2. 除了重新校准之外，计算时间的第二个问题是其成本。 如果计算能力太大，那么使用稍好一点的预测所带来的好处可能会低于在昂贵得多的计算机上运行预测模型的成本。

因此，当提出新的预测模型时，我们认为提供其计算时间非常重要。 此外，我们还认为，要使模型优于现有方法，它不一定是最准确的模型。 反而：

1. 如果它的计算时间很长，即几分钟，那么该模型确实应该比所有最先进的模型更准确，例如DNN。

2. 如果其计算时间很短，即以秒为单位，则该模型应该比计算要求低的最先进模型（例如李尔。

在本文中，我们对所提出的开放获取模型的计算要求进行了分析，以便其他研究人员可以轻松地进行此类比较。

5.9再现性

另一个相关问题是一些研究缺乏足够的细节来重复研究。 缺失的细节因研究而异，但最常见的四种是：

1. 用于测试和评估的数据集未定义[31, 32, 33, 34, 35, 36, 37]；

2. 用于训练的数据集未定义[41, 42, 21, 33, 35]；

3. 模型的输入不清楚[38,35,39,40,36]；

4. 超参数的选择不清楚[13,82,79,21,93,99,48,91,92,96,37]。

为了纠正这个问题，未来的 EPF 论文应该提供足够的详细信息以允许复制，并且审稿人应该验证是否始终提供了所使用数据集的所有必要详细信息。

5.10数据污染

EPF 文献中另一个经常出现的问题是数据污染训练，当部分数据集用于测试时就会出现这种情况。 特别是，在处理时间序列数据时，测试数据集应始终包含数据集的最后部分，以避免数据污染。 如果不这样做，模型可能会过度拟合测试数据集，并且其准确性可能会被高估。

尽管正确分离训练/验证数据集与测试数据集很重要，但 EPF 中的一些研究：

1. 请勿指定训练、验证和测试数据集 [31, 32, 33, 34, 35, 41, 42, 21, 36, 37] 之间的划分。 如果不指定数据集，则无法知道是否发生数据污染。

2. 从完整数据集[130, 131, 132, 133]中随机采样测试数据集，例如在包含一年数据的数据集中，随机选择 4 周进行测试，其余数据进行训练。

3. 训练/验证数据集和测试数据集 [134, 127, 51, 126] 之间存在部分或全部重叠，例如通过事后执行超参数优化。

为了纠正这个问题，EPF 的任何未来研究都必须确保：1）正确描述数据集之间的划分； 2）测试数据集永远不会与训练或验证数据集重叠； 3）测试数据集始终被选为完整数据集的最后一段。

5.11 软件工具箱

一个不太紧迫但相关的问题是使用最先进的软件工具箱。 在将新方法与文献中的方法进行比较时，应使用适当的工具箱对后者进行建模。 特别是，使用不断更新的工具箱非常重要，因为使用过时的库的实施方法会导致不公平的评估。

例如，在神经网络的背景下，有几个开源的最先进的工具箱[114]，它们不断更新，并允许访问该领域的最新发展DL。 然而，在 EPF 的背景下，新方法通常与使用 MATLAB 工具箱 [41, 42, 49, 91, 38, 92, 94, 32, 131]，这个工具箱多年来已经过时，并且不包含许多对 EPF 至关重要的神经网络开发，例如最先进的激活函数或随机梯度下降算法[59]。 因此，EPF 中的许多现有比较都是基于神经网络的准确性可能被低估的评估。

除了使用最先进的软件工具箱，例如除了用于深度学习的 python 库 keras，使用（只要可能）免费访问的库也很重要，以便任何人都可以复制研究。

5.12 合并预测

作为最后的指导方针，指出集成在 EPF 背景下的重要性非常重要。 一般来说，尽管存在例外情况[135]，但组合不同的模型会带来更高的准确度[121, 77]，因此基于多个模型构建预测是一个好主意楷模。 然而，即使算术平均值也能提高单个模型的准确性，新的集成技术应该与其他集成技术进行比较研究，即如[121]中所做的那样，而不是简单地w.r.t. 各个型号。

为了最大限度地提高预测精度，采用不同的预测非常重要[135]，例如使用不同数据或不同模型生成的预测。 对于 EPF，前者可以通过考虑使用不同校准窗口长度 [76, 122] 训练的模型来实现，后者使用不同的建模技术或不同的超参数集来实现。 为了进一步最大化性能，集成中使用的模型数量应受到限制[135]，例如4-10，特别是在重尾数据的情况下，大型集合往往更频繁地包含异常值，从而导致预测不太准确。

考虑到这一点，作为开放访问基准和工具箱 [60, 61] 的一部分，我们还提出了一系列简单的集成技术。 特别是，如 4 节中所述，我们提供了四个 LEAR 模型的集成，这些模型在不同的校准窗口上进行估计，并使用简单的算术平均值进行组合，以及另一个使用四个 DNN 的集成，这些模型针对不同的超参数进行了估计，并且使用算术平均值合并。

6 最先进方法的评估

在本节中，我们将介绍所有五个数据集的开源基准方法的结果。 为了清楚起见，我们将该部分分为两部分，分别包括错误度量的结果和统计测试的结果。

6.1 准确度指标

我们首先介绍开放获取基准模型在准确性指标方面的结果。

6.1.1 个别模型

表 2 比较了两个单独模型及其 4 个变体在 rMAE、MAE、MAPE、SMAPE 和 RMSE 方面的性能。 LEAR 模型显示 4 个不同的校准窗口，分别代表 56、84、1092 和 1456 天，即 8 周、12 周、3 年和 4 年。 这四个 DNN 是通过执行四次超参数/特征优化过程并使用每次运行的最佳超参数/特征选择来获得的（有关进一步信息，请参阅第 4.3.3 和 4.4 节）细节）. 可以得出以下几点结论：

• MAPE 似乎是一个不可靠的度量，因为它与其他三个线性度量和二次度量完全不同。 特别是，虽然 rMAE、MAE 和 sMAPE 就所有情况下的最佳模型达成一致，但 MAPE 几乎从不这样做。 这种不可靠性在德国市场中可以进一步体现出来：虽然 MAPE 和 sMAPE 指标通常具有相似的数量级，但就德国市场而言，MAPE 大约大 10 倍。 这种影响是由于德国的价格为负且非常接近 0，从而导致 MAPE 值非常大，从而使平均 MAPE 产生偏差。

• DNN 模型似乎比 LEAR 模型更准确。 特别是，就线性指标而言，对于 5 个数据集，四个 DNN 模型的表现优于所有四个 LEAR 模型。

• 尽管 RMSE 显示的结果略有不同，但这是预期的，因为该指标基于二次误差而不是线性误差。 尽管如此，虽然 RMSE 确实显示了略有不同的结果，但它仍然显示了 DNN 模型的优越性：尽管 DNN 被估计为最小化绝对误差（与 LEAR 不同），但 DNN 在 5 个数据集中的 4 个中表现更好。 此外，尽管 DNN 在两个市场中似乎表现更差，但 RMSE 指标并不能正确代表根本问题（请参阅第 5.4 和 6.4.1 节），并且它可以有人认为这不是评估 EPF 模型性能的最佳指标。

表2： 两种最先进的开源方法在 rMAE、MAE、MAPE、sMAPE 和 RMSE 方面的比较。 针对四种不同的配置列出了这两种方法中的每一种。 灰色单元格代表给定指标的最佳模型。

		DNN1	DNN2	DNN3	DNN4	LEAR56	LEAR84	LEAR1092	LEAR1456
NP	rMAE	0.471	0.415	0.437	0.438	0.475	0.472	0.482	0.481
	MAE	1.946	1.717	1.808	1.812	1.964	1.952	1.993	1.990
	MAPE [%]	6.04	5.46	5.93	5.85	6.34	6.36	6.10	6.14
	sMAPE [%]	5.59	5.00	5.22	5.26	5.66	5.62	5.64	5.66
	RMSE	3.579	3.341	3.502	3.596	3.671	3.664	3.605	3.604
PJM	rMAE	0.475	0.475	0.473	0.467	0.550	0.548	0.490	0.489
	MAE	3.005	3.008	2.995	2.956	3.477	3.467	3.098	3.095
	MAPE [%]	28.87	29.74	29.87	29.10	32.52	32.34	30.28	30.24
	sMAPE [%]	11.99	11.93	11.89	11.81	13.68	13.58	12.33	12.54
	RMSE	5.121	5.333	5.023	4.820	5.718	5.709	5.264	5.142
EPEX	rMAE	0.608	0.600	0.597	0.608	0.682	0.669	0.649	0.653
BE	MAE	6.181	6.094	6.066	6.173	6.924	6.798	6.594	6.634
	MAPE [%]	24.83	28.69	24.08	30.46	32.88	32.34	26.26	22.64
	sMAPE [%]	14.40	14.35	13.87	14.25	16.20	15.95	16.87	17.29
	RMSE	16.577	15.879	16.304	16.488	16.371	16.291	16.458	16.420
EPEX	rMAE	0.576	0.572	0.562	0.585	0.638	0.624	0.580	0.597
FR	MAE	4.223	4.193	4.118	4.292	4.681	4.575	4.250	4.378
	MAPE [%]	15.75	16.52	15.13	15.55	19.03	18.09	14.95	14.90
	sMAPE [%]	12.06	12.03	11.65	11.96	13.43	13.28	13.25	14.05
	RMSE	12.036	11.850	11.414	12.455	11.732	10.759	11.337	11.462
EPEX	rMAE	0.395	0.398	0.395	0.413	0.469	0.458	0.431	0.437
DE	MAE	3.601	3.633	3.605	3.771	4.283	4.18	3.93	3.988
	MAPE [%]	103.14	83.1	100.59	106.38	133.38	115.61	123.39	120.24
	sMAPE [%]	14.84	15.06	14.74	15.28	16.54	16.27	16.79	17.15
	RMSE	6.256	6.135	6.25	6.324	7.713	7.397	6.526	6.502

6.1.2 合奏

表 3 列出了集成方法的结果，其中比较了两种集成模型以及最佳 DNN 和 LEAR 模型在 rMAE 指标（可以说是最可靠的指标）方面的性能。 从表中可以得出几点结论：

• 正如 5.12 节中已经讨论的那样，组合模型通常可以提高准确性。 特别是，对于所有五个市场和所有可靠指标，DNN 的集合都优于最佳的单独 DNN 模型。 同样，对于所有市场和可靠指标，LEAR 模型的整体优于最佳的单独 LEAR 模型。 此观察结果的例外是 MAPE 和 RMSE 指标，但如前所述，MAPE 是一个不可靠的指标，而 RMSE 不能正确代表 EPF 的根本问题。

• 与之前一样，就 rMAE 而言，DNN 集合是所有市场中最准确的模型，这似乎再次表明 DNN 模型比 LEAR 模型更准确。

表3： 最先进的开源方法的集成在 rMAE、MAE、MAPE 和 sMAPE 方面的比较。 该比较还包括每个市场在 rMAE 和 MAE（即两个最可靠的指标）方面表现最佳的 DNN 和 LEAR 模型。 灰色单元格代表给定指标的最佳模型。

		DNN Ensemble	LEAR Ensemble	Best DNN	Best LEAR
NP	rMAE	0.403	0.420	0.415	0.472
	MAE	1.667	1.738	1.717	1.952
	MAPE [%]	5.38	5.53	5.46	6.36
	sMAPE [%]	4.85	5.01	5.00	5.62
	RMSE	3.333	3.362	3.341	3.604
PJM	rMAE	0.439	0.476	0.467	0.489
	MAE	2.779	3.013	2.956	3.095
	MAPE [%]	28.66	30.13	29.10	30.24
	sMAPE [%]	11.22	11.98	11.81	12.54
	RMSE	4.637	5.127	4.820	5.142
EPEX	rMAE	0.573	0.604	0.597	0.649
BE	MAE	5.821	6.140	6.066	6.594
	MAPE [%]	26.11	20.72	24.08	26.26
	sMAPE [%]	13.33	14.55	13.87	16.87
	RMSE	16.127	15.974	15.879	16.371
EPEX	rMAE	0.533	0.543	0.562	0.58
FR	MAE	3.910	3.980	4.118	4.250
	MAPE [%]	14.77	14.68	15.13	14.95
	sMAPE [%]	10.98	11.57	11.65	13.25
	RMSE	11.738	10.676	11.414	10.759
EPEX	rMAE	0.377	0.395	0.395	0.431
DE	MAE	3.441	3.609	3.601	3.93
	MAPE [%]	95.76	113.98	83.1	115.61
	sMAPE [%]	14.19	14.74	14.74	16.27
	RMSE	5.997	6.508	6.135	6.502

6.2统计测试

在本节中，我们通过统计测试介绍开放获取基准模型的结果。 为了简单起见，我们将各个方法和集成的结果一起呈现。 结果基于使用 (12) 中的 $L_1$ 范数的多变量 GW 检验，即具有以下损失微分序列：

$${\mathrm{\Delta }}_d^{\mathrm{A},\mathrm{B}}={\sum }_{h=1}^{24}|{\epsilon }_{d,h}^{\mathrm{A}}|-{\sum }_{h=1}^{24}|{\epsilon }_{d,h}^{\mathrm{B}}|.$$ (15)

虽然也可以使用平方损失，但我们在这里不考虑它们，因为绝对误差更好地代表了 EPF 中的根本问题，请参阅第 6.4.1 节进行讨论。

在图 5 中，我们显示了五个市场的结果。 更准确地说，我们使用排列为棋盘的热图来指示所获得的 $p$ 值的范围。 它们越接近零（深绿色），X 轴模型的预测（更好）和 Y 轴模型的预测（更差）之间的差异就越大。 例如，对于 EPEX-DE 市场，第一行是绿色，表示 LEAR₅₆ 的预测明显优于所有其他模型的预测。 我们可以观察到：

图5： 八个单独模型和两个集成的多变量损失微分序列 (15) 的 GW 测试结果。 热图用于指示五个市场中每个市场所获得的 $p$ 值的范围。 p 值越接近零（深绿色），X 轴上模型的预测（更好）与 Y 轴上模型的预测（更差）之间的差异就越大。 黑色表示 p 值高于颜色图限制，即 p 值大于或等于 0.10。

• 对于所有市场，最后一列是绿色的，表明 DNN 集合的预测在统计上显着优于所有 5 个数据集的所有其他模型的预测。

• LEAR_ens 的预测在统计上显着优于所有单独的 LEAR 模型。 结合之前的观察，即 DNN 集成的优越性，这表明集成模型的预测通常会提高单个方法的预测精度。

• 在一个数据集 (EPEX-BE) 中，所有单独的 DNN 方法的预测在统计上显着优于单独的 LEAR 模型。 在其他三个数据集（NP、EPEX-FR 和 EPEX-DE）中，所有单个 DNN 方法的预测在统计上显着优于 4 个单独 LEAR 模型中的 3 个。 对于所有数据集，至少有 1 个 DNN 模型的预测在统计上显着优于所有 LEAR 模型。

• 单个 LEAR 模型的预测永远不会比单个 DNN 模型的预测好得多。 总体而言，基于 DNN 的预测似乎更有可能获得明显更好的结果；对于 DNN 集成来说尤其如此。

6.3计算时间

如5.8节所述，除了比较预测精度外，还需要分析预测方法的计算时间。 表4列出了估计所考虑的模型所需的计算时间的比较，即每天重新校准每个模型所需的时间。 由于计算时间是不确定的，因此其值以范围的形式给出。 这些数据是使用常规笔记本电脑四核 CPU（即 i7-6920HQ）获得的。

表4： 每个基准模型执行每日重新校准所需的计算时间。

	Time
LEAR	1–10 seconds
LEAR Ensemble	20–25 seconds
DNN	2–5 minutes
DNN Ensemble	8–20 minutes

可以观察到，虽然LEAR模型的性能比DNN模型稍差，但其计算时间却低了30到100倍；特别是，当考虑两种方法的最大计算时间时，LEAR 模型快了 50 倍。

6.4讨论与备注

在本节中，我们提供了所采用指标动机背后的一些最后评论，我们简要分析了所考虑的不同指标的影响，并提供了关于比较新模型的讨论。

6.4.1 绝对误差与平方误差

在整篇文章中，我们主要考虑基于绝对/线性误差的准确性指标，即评估预测分布中值的准确性的指标。 由于 LEAR 模型是通过最小化平方误差来估计的，从而导致平均值 [117] 的预测，因此有人可能会认为基于平方误差的度量/测试应该是首选。 虽然这个论点有一些优点，但我们出于以下三个原因关注绝对指标：

• 用于评估准确性的指标应该是能够更好地代表潜在问题的指标。 就 EPF 而言，由于购买电力的成本是线性的，因此线性指标可以说是量化与预测误差相关的风险的最佳方法。

• 虽然我们提供了 RMSE 结果，但它们在质量上与 MAE/rMAE 相同。 因此，由于绝对误差更好地代表了EPF的根本问题，并且结果相似，由于篇幅限制，这里不对RMSE结果进行详细分析。

• 虽然 LEAR 模型确实是使用平方误差来估计的，但这部分是因为有效估计 LASSO 的技术，例如坐标下降，基于平方误差。 这使得 LEAR 模型比 DNN 具有计算优势。 另一种方法是使用正则化分位数回归[136]，但这会增加计算负担，而对 MAE/rMAE 的准确性几乎没有好处。

6.4.2指标

获得的结果验证了第 5.4 节中提出的有关准确性指标的一般准则：EPF 的研究应避免使用 MAPE，并且仅将 sMAPE 或 RMSE 等指标与任何版本的 rMAE 结合使用。 特别是，结果验证了以下三个主张：

• MAE 与 rMAE 一样可靠。 然而，由于误差不是相对的，因此不可能在数据集之间进行比较，因此首选 rMAE。

• sMAPE 比 MAPE 更可靠，并且与 MAE/rMAE 一致。 然而，它存在均值未定义和方差无限的问题。 因此，它的可靠性不如 rMAE。

• MAPE 不是一个可靠的指标，因为它更重视接近于零的数据点。 因此，使用 MAPE 可能会导致误导性结果和错误结论。

• RMSE 比 MAPE 更可靠，但它不能正确代表 EPF 的潜在风险。 因此，不应单独使用它来评估预测模型。

6.4.3 开放获取模型的性能

根据6.1-6.3节的广泛比较，可以得出结论，基于深度学习的模型更有可能优于基于统计方法的模型。 在 DL 集成模型的背景下尤其如此，因为 DNN 集成获得的结果在统计上明显优于任何其他模型。

然而，虽然 DNN 的性能优于 LEAR 模型，但后者在低复杂性和计算成本方面仍然是最先进的。 特别是，它们的性能非常接近 DNN，但具有计算成本低 100 倍的优势。 因此，当决策必须在几秒钟内完成时，它们是最佳的选择。

简而言之，EPF 的新模型应根据可用的决策时间与 LEAR 模型或 DNN 进行比较。 对于被认为比最先进的方法更准确的方法，它应该比 DNN 模型更准确，或者比 LEAR 更准确，但计算要求相似或更低。

7 确保 EPF 研究充分的清单

作为最后的贡献，为了促进未来 EPF 出版物审稿人的工作，我们提供了一个简短的清单来评估 EPF 中的任何新研究是否满足可重复的要求并得出有意义的结论：

• 测试数据集包含至少一年的数据。

• 任何新模型都会针对最先进的开放访问模型进行测试，例如此处提供的。

• 评估新方法的计算成本并将其与现有方法的计算成本进行比较。

• 所使用的数据集是开放获取的。

• 该研究基于多个市场。

• rMAE 被用作评估预测准确性的准确性指标之一。

• 统计测试用于评估性能差异是否显着。

• 预测模型每天都会重新校准，而不是简单地估计一次并在完整的样本外数据集中进行评估。

• 使用与测试数据集不同的验证数据集来估计超参数。

• 明确说明了数据集的分割和日期。

• 模型的所有输入均已明确定义。

• 测试数据集被选为完整数据集的最后一部分，并且不包含与训练或验证数据集任何重叠的数据。

• 最先进的免费工具箱用于对基准模型进行建模。

虽然这只是5节中描述的指南的一个非常简短的总结，但我们认为将它们总结在一起对于快速评估新研究非常有用。

8结论

在本文中，我们得出了一套用于开展电价预测 (EPF) 研究的最佳实践。 特别是，由于EPF领域缺乏严格的方法来比较和评估新的预测模型，我们分析了影响研究质量的不同因素，例如数据集大小或准确性指标，我们提出了解决方案，以确保新研究是充分的、可重复的和有用的。

此外，由于 EPF 中的比较通常使用其他研究从未测试过的数据集进行，因此我们提出了一个广泛的开放访问基准数据集，其中包含 5 个不同市场 6 年的最新数据。 基准数据集的目的是为未来的研究提供一个通用框架，以便可以在相同条件下验证新方法并获得有意义的比较。 为了方便未来的研究，我们开发了一个名为 epftoolbox [60, 61] 的开源 python 库，可以轻松访问这些数据集。

同样，由于 EPF 中的新方法通常不会与成熟的方法进行比较，因此我们提出了几种基于统计方法和深度学习的最先进的开源模型。 这些方法会自动调整，无需专业知识即可使用。 这些方法在提议的 epftoolbox 库 [60, 61] 中作为开源提供，以便其他研究人员可以在自己的研究中将它们用作基准。 尽管所提出的方法目前是在 python 中开发的，但我们希望将支持扩展到其他语言；本着这种精神，我们鼓励其他研究人员帮助我们这样做。

最后，为了获得完整的开放访问基准，我们评估了开放访问数据集中提出的两种开放访问方法，并提供了准确性指标和统计测试的结果。 利用这些结果，我们表明深度神经网络更有可能优于 LEAR 方法，但后者是决策时间较短的应用程序的最佳模型。 此外，我们还表明，集成方法通常比单独的方法获得更好的结果。 基于相同的结果，我们还表明了关于什么是良好实践的指南的重要性。 最值得注意的指导原则是，MAPE 是一种应该避免的不可靠指标，必须进行统计测试才能获得有意义的结论，并且测试数据集的长度应至少为一年。

致谢

这项研究得到了欧盟 Horizo​​n 2020 研究和创新计划的资助，该计划根据 Marie Skłodowska-Curie 赠款协议第 1 号进行资助。 675318 (INCITE)，科学和高等教育部（MNiSW，波兰）通过拨款号 675318 (INCITE) 0219/DIA/2019/48 和国家科学中心（NCN，波兰）通过拨款号： 2018/30/A/HS4/00444。