通过深度学习技术预测股市：一项调查

摘要。

现有的股市预测调查往往侧重于传统的机器学习方法，而不是深度学习方法。 这促使我们对股市预测研究提供结构化和全面的概述。 我们提出了股票市场预测的四个详细的子任务，并提出了一种新颖的分类法来总结基于深度神经网络的最先进模型。 此外，我们还提供了股票市场常用的数据集和评估指标的详细统计。 最后，我们通过分享一些关于股市预测的新观点来指出未来的几个方向。

1. 介绍

金融市场在塑造全球经济发展方面发挥着至关重要的作用。 随着股票市场在经济领域的地位日益突出，它越来越受到公众的关注。 解释金融资产定价和股市波动背后原因的一种理论是有效市场假说（Malkiel，2003）。 有效市场假说认为，在一个合法健全、运作良好、透明且竞争激烈的股票市场中，理性投资者能够对所有市场信息做出快速、理性的反应。 因此，股票价格将准确、充分、及时地反映所有重要事实，包括公司的当前和未来价值。 然而，股价的波动受到一系列复杂因素的影响，包括公司财报、国家政策、有影响力的股东以及专家对时事的猜测。 因此，需要利用机器学习技术来执行股票市场预测任务，例如股票走势预测、股票价格预测、投资组合管理和交易策略。

股票市场具有不确定性和可变性的特点，因此准确预测市场趋势具有挑战性。 机器学习技术已应用于股票价格预测中，以提高预测的准确性并缓解这些困难。 历史上，传统模型如基于决策树的模型（Vu等人，2012；Nugroho等人，2014；Kamble，2017）和支持向量机（SVM）（Xie等人， 2013）已被用于股市预测。

随着深度学习模型的发展，用于预测股市的方法已从传统技术转向先进的深度学习技术，例如循环神经网络（RNN）、长短期记忆（LSTM）、门控循环单元（GRU）、图神经网络 (GNN) 和卷积神经网络 (CNN)。 最近，研究人员也开始探索基于 Transformer 的模型和强化学习（RL）模型在股市预测中的使用。 尽管有关股市预测的调查非常丰富，但现有的调查（Atsalakis 和 Valavanis，2009；Li 和 Ma，2010；Ballings 等人，2015；Tkáč 和 Verner，2016） 存在局限性。 例如，一些调查侧重于传统技术，而没有严格审查最新的进步，例如 Transformer 模型。 此外，一些调查对模型的分类含糊不清，没有使用权威的标准。 此外，先前研究中发现的许多挑战和未解决的问题已经得到解决。 这项调查旨在通过对股市预测的最新技术和趋势提供全面而富有洞察力的概述来填补这些空白。 通过回顾顶级会议的高质量论文，本次调查总结了 Transformer 和 RL 等技术的最新进展，并提供了深入的分析和讨论。 旨在为研究人员、从业者和教育工作者提供对相关深度学习技术和未来研究最有希望的方向的系统概述和全面理解。

这项调查旨在通过对模型进行分类并分析其发布年份，深入了解股市预测的进展。 此外，该调查旨在详细了解股票市场预测中每种模型的结构和应用。

这项调查的三个主要贡献如下：

• 在本次调查中，我们彻底研究了股市预测，其中包含四个不同的任务：股票走势预测、股价预测、投资组合管理和交易策略。 为了进行这项研究，我们收集了 94 篇论文，重点关注这些高度相关的主题。

• 这项调查引入了一种新的深度学习分类系统，用于预测股市表现。 所回顾的文献是根据这种分类法组织的，探讨了各种深度学习模型，例如 RNN、CNN、GNN、Transformer 和 RL。 此外，该调查还汇总了这些研究中使用的数据集、评估技术和模型输入。

• 在这项研究中，我们深入研究了基于深度学习的股市预测所面临的未解决的挑战，并对该领域未来潜在的研究提供了深入的见解。

调查的组织。 这项调查分为八个部分。 调查的层次结构如图1所示。 第一部分概述了股市预测的背景、研究动机和目标。 在第2部分中，回顾了之前关于该主题的调查，并确定了它们的局限性和需要改进的领域。 3 部分详细介绍了用于评审论文的方法，包括分类标准，例如会议、模型和出版年份。 4部分讨论了股市预测中使用的各种深度学习模型，并根据模型类型对论文进行了分析。 5 节讨论了所审查方法中使用的数据集和模型输入特征。 6节介绍了股市预测中常用的评估指标。 7 部分重点讨论该领域的未决问题和潜在的未来发展。 调查最后在第 8 节中进行了总结。

图1。 本次调查的层次结构有八个部分。

2. 相关工作

在以往的股票预测研究中，广泛使用SVM、回归、KNN等传统方法。 然而，随着神经网络的进步，人们已经开始转向在股票预测研究中利用这些网络。 Atsalakis 和 Valavanis （Atsalakis 和 Valavanis，2009） 对 100 篇股票市场预测论文进行了调查，重点关注神经和神经模糊技术。 他们通过比较不同的股票市场、输入变量、预测方法和评估指标，对 1990 年至 2006 年发表的论文进行了分类和分析。 Li 和 Ma （Li and Ma，2010） 发表了一项关于在金融市场应用中使用人工神经网络的调查，包括股票价格预测和期权定价。 Ballings等人(Ballings等人, 2015)专注于股票价格预测中集成方法的分类器模型和单一分类器模型。 集成方法包括随机森林、Adaboost 和核工厂，而单分类器模型包括神经网络、线性回归、SVM 和 K 最近邻。 这是第一项制定广泛基准的研究。 Tkac 和 Verner （Tkáč and Verner，2016）系统地概述了 1994 年至 2015 年间发表的 412 篇关于人工神经网络在金融行业的商业应用的论文。 该调查的主要应用包括财务困境、破产问题以及股价预测的决策支持，重点是分类任务。 Cavalcante 等人(Cavalcante 等人, 2016)回顾了2009年至2015年在金融应用中使用各种机器学习算法的有影响力的论文，并讨论了该领域的挑战和未解决的问题。 涵盖的主要机器学习方法包括人工神经网络、支持向量机、混合方法、优化方法和集成方法。 这些应用包括金融数据的预处理和聚类、预测未来市场趋势以及挖掘金融文本信息。 李等人(Li 等人, 2017a)调查了2007年至2016年的229篇网络媒体与股票市场关系的论文，并提出了进一步研究的方向。 他们提出了一种分类法，将机器学习技术分为统计模型、回归模型和基于机器学习的模型。 神经网络模型包括贝叶斯分类器和支持向量机。 Xing, Cambria, and Welsch (Xing 等人, 2018) 研究了将自然语言处理方法应用于金融预测任务的论文，主要集中在不同类型的文本源、算法和基于结果的三个方面根据不同的评价指标。 文本来源包括新闻、社交媒体、财务报告和留言板。 模型类型包括回归、SVM、集成学习和 CNN。 Nti、Adekoya 和 Weyori (Nti 等人, 2020) 回顾了 2007 年至 2018 年的论文，重点关注三类分析：技术分析、基本面分析和综合分析。 模型有限，只有三种技术得到了很好的讨论：决策树、SVM 和 ANN。 Ersan、Nishioka 和 Scherp (Ersan 等人, 2020) 还重点研究了三种预测模型：KNN、ANN 和 SVM。 这项调查旨在对 DAX 30 和 S&P 500 数据集上每日和每小时的各种机器学习方法进行比较。

最近关于股市预测的调查主要集中在 CNN、RNN 和 GNN 等深度学习技术上。 Jiang（2021）因其考虑到研究的实施性和可重复性而脱颖而出。 具体来说，论文重点介绍了用于实现的主要工具，包括 Keras、TensorFlow、PyTorch、Theano 和 scikit-learn。 还对几篇论文的数据和代码可用性进行了调查，以证明可重复性。 这项研究重点关注应用于股市预测的深度学习方法的最新进展。 Thakkar 和 Chaudhari （Thakkar 和 Chaudhari，2021） 研究了各种基于深度学习的神经网络方法进行股市预测。 该研究根据2017年至2020年的论文，总结和分析了需求、挑战和未来方向。 Kumbure 等人 (Kumbure 等人, 2022) 对 2000 年至 2019 年间发表的 138 篇股市预测期刊文章进行了文献综述。 该调查特别关注数据集中的特征和独特变量。 该调查将深度学习方法分为两类：有监督机器学习方法和无监督机器学习方法。 然而，一些调查仍然缺乏最新的技术，例如 Transformer 和预训练的 BERT 模型，本次调查也对这些技术进行了回顾。

以前的调查广泛涵盖了传统方法和较旧的神经网络技术，在理解当前研究趋势方面留下了空白。 最近的调查尚未完全更新以包含最新技术。 此外，一些现有的调查（Thakkar 和 Chaudhari，2021；Kumbure 等人，2022；Jiang，2021；Li 等人，2017a；Hu 等人，2021；Kumar 等人，2021）没有充分按目标分类的论文或仅关注股市预测任务。 鉴于需要更新的调查纳入最新的股市预测技术，本调查提出了一种新的深度学习模型分类方法，旨在提供更全面和最新的分析。 重点将放在较新的论文和最新的技术上。

3。审查方法和标准

图 2. 三幅图展示了不同标准下论文的统计情况。

3.1。审查方法论

在本研究中，我们重点关注与股票市场预测相关的文献。 为了收集全面的论文集，我们实施了以下策略。 最初，我们将时间范围限制在过去十年。 接下来，我们确定了领先的自然语言处理 (NLP) 和人工智能 (AI) 会议，包括 ACL、EMNLP、AAAI、IJCAI、ICAIF、NeurIPS 和 KDD。 在这些会议中，我们使用了搜索引擎 Google Scholar 以及特定的关键字，例如股票预测、市场、金融和投资组合. 我们还将深度学习模型的名称作为关键字，例如 RNN、LSTM 和 GNN、Transformer和RL。 通过使用这些关键词，我们能够找到与股市预测、金融、交易和投资组合相关的论文。 然后我们使用机器学习来过滤预测股市的论文。 经过筛选，我们筛选出42篇与股票预测相关的高质量论文。 排除内容少于两页的论文​​后，筛选出39篇论文。 通过阅读这 39 篇论文中的被引论文，我们还将期刊和会议中排名靠前的论文纳入我们的研究论文列表中。 本次调查总共包含 94 篇高质量论文，涵盖各种深度学习方法。

3.2. 精选论文统计

本节通过各种图表呈现调查中包含的股市预测论文的统计数据。 首先，论文按顶级会议分组。 图2(a)展示了ACL等顶级会议的论文数量, NAACL,EMNLP, AAAI,国际化学工业协会, ICAIF, 神经IPS,ICML,ICLR, 和 KDD. 如图2(a)所示，本次调查共收录了39篇高质量论文。 ACL和AAAI会议是股市预测论文最多的会议。 图2(b)说明了使用五种不同模型的论文比例。 本次调查涵盖了所提到的所有模型类型，每个模型都有超过 15 篇论文。 该调查包括高级模型，例如基于 Transformer 的模型和 RL 模型，分别占 18.9% 和 24.2%。 图2(c) 显示了按出版年份划分的论文数量。 本次调查中发表的论文比例最大的是2021年，共有24篇论文。 2012年至2016年五年期间，共发表论文11篇。

4. 机器学习中的股市预测

4.1. 股票预测相关任务

在深入研究深度学习模型的细节之前，我们将首先定义四个关键的股市预测任务，并概述与每个任务相关的概念。 这些任务包括股票价格预测、股票走势预测、投资组合管理和交易策略。 这些类别涵盖了大多数现有的股票市场预测任务。

• 股价预测。 利用时间序列数据进行股票价格预测的目的是预测研究人员在交易所交易的股票和金融资产的未来价值。 这一预测的最终目标是实现丰厚的利润。 此外，各种因素也会影响预测过程，包括心理因素以及理性和非理性行为。 所有这些因素共同作用，使股价充满活力和波动。

• 股票走势预测。 股票走势预测的任务通常将股票趋势分为三类：上升趋势、下降趋势和横盘趋势。 该任务通过分析股票在特定交易日期间调整后收盘价之间的差异来形式化。

• 投资组合管理。 投资组合管理涉及对一系列投资的战略选择和监督，以实现财务目标。 投资组合管理的目标是以最大化回报同时最小化风险的方式分配资源。

• 交易策略。 交易策略是一套预先制定的指导方针和标准，用于做出交易决策，是买卖股票的有条不紊的方法。 交易策略可以从简单到复杂，并考虑投资风格（例如，价值与增长）、市值、技术指标、基本面分析、投资组合多元化水平、风险承受能力和杠杆等因素。 在利用深度学习的股市预测任务中，常见的交易策略包括事件驱动、数据驱动和策略优化。

上述任务围绕股市预测的过程展开。 为了全面了解基于深度学习的方法，图 3 说明了预测过程。 第一步涉及处理输入数据，包括股票数据、图表和文本。 之后，选择并收集相关的库存特征。 下一步是将提取的特征输入到深度学习模型中进行训练。 最后，获得并分析模型的实验结果。

图 3. 处理框架。

4.2. 基于深度学习的模型

图 4. 股市预测论文按模型分类的方法。

图 5. 股市预测主流深度学习模型概况。

我们根据模型对论文进行了分类，并在图4中展示了不同的模型。 图5概述了股市预测中使用的主流深度学习模型。 这些模型包括：基于RNN的模型（图5(a)）、基于CNN的模型（图5(b)）、基于GNN的模型（图5(c))、RL模型(图5(d))、基于Transformer的模型(图5(e))，以及其他独特的方法。 这些模型的输入可以是与股票价格相关的数据、文本数据以及公司之间的关系，并且模型根据论文中概述的目标生成输出。

4.3. 基于循环神经网络的模型

RNN，如（Rumelhart等人，1986）中所述，是一种可以有效处理顺序数据的深度学习模型。 股票市场数据通常表示为时间序列，这使得 RNN 成为通过对历史数据建模进行预测的理想选择。 然而，RNN 在长期处理数据时存在梯度消失的缺点。 为了解决这个问题，人们开发了几种 RNN 变体，包括 LSTM （Hochreiter 和 Schmidhuber，1997）、GRU （Cho 等人，2014） 和双向 LSTM（ Bi-LSTM）（Graves 和 Schmidhuber，2005 年）。 RNN 可以被认为是多个相同网络单元的循环组合，其中每个单元的输出作为下一个单元的输入（Lei，2021）。 每个单元包含一组输入、隐藏和输出单元。 LSTM 单元具有三个门，即更新门、遗忘门和输出门，有助于控制短期和长期记忆。 GRU模型是对LSTM模型的改进，它将输入门和遗忘门合并为更新门，并增加重置门来控制信息被遗忘（Cho等人，2014）。 这些模型改进了 RNN，并在股市预测方面取得了重大进展。

循环神经网络（RNN）。 RNN是一种成熟的深度学习模型，已应用于股票预测。 然而，近年来，研究人员试图通过探索 RNN 与其他机器学习技术的混合应用来提高 RNN 的性能。 Agarwal和Sastry（Rather等人，2015）提出了一种新颖且鲁棒的混合预测模型（HPM），它结合了三种预测模型：RNN、指数平滑（ES）和自回归移动平均模型（ARMA）。 他们还使用遗传算法通过提供最佳权重来优化模型，从而显着提高预测准确性。 另一种方法是由Zhang、Aggarwal和Qi提出的（Zhang等人，2017），是基于RNN的状态频率记忆（SFM），它能够从股票中捕获多频率交易模式市场是股票价格波动的基础。

长短期记忆（LSTM）。 LSTM 模型能够有效处理文本和时间序列数据，非常适合股市预测。 LSTM 通过使用梯度方法解决了在较长时间间隔内保留信息的问题，这是对 RNN 模型的改进。 例如，Akita等人(Akita等人, 2016)提出了一种段落向量方法来表示文本信息，并利用LSTM作为预测模型。 在这个实验中，十家公司被表示为十篇文章，其中文章的向量表示为$P_t$。 这些公司的价格在单个时间步$t$处表示为$\{c1,c2\mathrm{\dots },c10\}$，并连接为股票价格向量$N_t$。 LSTM的输入是$P_t$和$N_t$的组合。 在开盘价预测方面，LSTM 显着优于基线、多层感知器 (MLP)、支持向量回归 (SVR) 和简单 RNN。 再比如，马等人(Ma等人, 2019)提出了News2vec模型，其中稠密向量表示新闻特征。 他们使用具有自注意力机制的 LSTM 作为预测模型。 这种文本嵌入模型 News2vec 有助于揭示新闻与其事件元素之间的潜在关系。 Nelson、Pereira 和 Oliveira (Nelson 等人, 2017) 使用 LSTM 进行股票走势预测，但模型输入是数字信息，包括股票价格和交易量。

在股票预测研究中，通常将股票价格作为时间序列分析来处理，但很少有研究人员考虑到数据潜在的时间依赖性。 赵等人（Zhao等人，2017）提出了一种具有趋势回撤的时间加权LSTM模型，该模型根据数据与待预测数据的时间接近程度为数据分配权重。 混合模型是 LSTM 与其他模型的结合，已被提出来提高预测性能。 Polamuri 等人 (Polamuri 等人, 2021) 提出了基于生成对抗网络的混合预测算法（GAN-HPA）来实现基于 GAN 框架开发的 Stock-GAN。 该框架接受各种输入，例如股票数据集和超参数。 线性和非线性模型用于从数据集中提取特征，超参数和预处理结果用作 LSTM 的输入。 生成器的输出和原始数据提供给判别器，并使用贝叶斯近似来调整参数并更新预测结果。 Wang 等人 (Wang 等人, 2021d) 提出了一种从交易数据中动态提取金融市场趋势潜在表征的方法，做出了重大贡献。 他们提出了一种基于混合卷积 LSTM 的带有注意力的变分序列到序列模型（CLVSA）。 该模型由卷积 LSTM 单元和具有自注意力和互注意力机制的序列到序列框架组成。

Nguyen 和 Yoon （Nguyen 和 Yoon，2019） 开发了一种称为相关股票信息深度转移 (DTRSI) 的框架，该框架考虑股票关系来预测股票价格走势。 为了实现这一目标，作者在大规模数据预训练期间使用 LSTM 单元来优化参数，然后使用少量目标数据对基础模型进行微调以获得最终模型。 这种方法解决了由于样本量较小而导致的过度拟合问题，并考虑了股票之间的关系。

对抗性训练可以通过引入扰动来模拟股票价格波动，这可以提高股票走势预测的准确性。 2019年，Feng 等人训练 (Feng 等人, 2018) 提出了一种结合注意力 LSTM 和对抗性 来预测股市走势的方法。 另一种同时预测多个股票价格的方法是丁和秦提出的关联网络模型（丁和秦，2020），该模型由三个分支组成，分别预测开盘价、最低价和最高价。分别为最高价。

Chen 等人 (Chen 等人, 2019) 在他们的模型中使用 Bi-LSTM 对股票数据和财​​经新闻表示进行编码，即结构化股票预测模型 (SSPM) 和多任务结构化股票预测模型（MSSPM）。 他们还纳入了由事件角色嵌入组成的交易事件表征，即使用 $Standford$ $CoreNL{P}^2$ 工具 （Rather 等人，2015 年）提取的主语和宾语。 MSSPM 模型针对股票预测和事件提取任务进行了独特的训练，因为作者认为这些任务具有内在的关系，准确的提取结果将有利于股票预测结果。 为了做出时间感知的预测，Sawhney 等人 (Sawhney 等人, 2021a) 提出了一种名为 FAST 的分层学习方法，用于根据预期利润对股票进行排名。 该模型使用时间感知 LSTM 来模拟新闻和推文中的时间不规则性。 FAST 模型展示了在标准普尔 500 指数和中国 A 股指数模拟中考虑文本内细粒度时间不规则性的积极影响。

Li和Pan（Li and Pan，2022）提出股票价格受到多种因素的影响，并提出了结合LSTM和GRU的集成深度学习模型。 他们还通过咨询心理学和经济理论来确定文本信息的窗口大小，以解释新闻的持久或短暂的影响。

门控循环单元（GRU）。 GRU 是 LSTM 的变体，人们发现它在股票市场预测中表现良好。 他们解决了梯度消失的问题，并通过减少细胞数量来提高训练速度（Cho等人，2014）。 受秦等人(Qin 等人, 2017)工作的启发，他提出了一种基于双阶段注意力的RNN来进行时间序列预测，杨等人(Yang 等人, 2018b) ）提出了一种使用 GRU 网络进行股票价格预测的双层注意力机制。 该机制根据不同的财经新闻标题对股价的影响分配不同的权重，重点是解释预测的原因并避免自然语言处理工具的错误。 类似地，Li、Shen 和 Zhu (Li 等人, 2018b) 提出了一种新颖的多输入 LSTM (MI-LSTM) 模型，该模型使用注意力来区分主因素和辅助因素，并为不同的因素分配不同的权重。这些输入，以防止不相关因素对最终结果的影响。

为了应对混乱新闻的挑战，Hu 等人(Hu 等人, 2018)开发了一种混合注意力网络（HAN），其中包含自定进度的学习机制。 这种方法兼顾了财经新闻的可信度和全面性。 HAN 由两个注意力层组成，一个在新闻层面，另一个在时间层面。 双向 GRU 层还用于对语料库向量的时间序列进行编码。 经过回测，模拟交易的年化收益率明显提升。 同样，王等人(Wang 等人, 2020)提出了一个包含专家意见的股票预测框架。 多视图融合网络立场检测模型（MFN）框架使用来自多个视图的文本特征和相关金融领域知识来确定文本的上行和下行投资观点。 然后使用立场聚合模块根据动态专家挖掘程序来识别和聚合高质量的意见。 最后，股票预测模块用于使用前两部分输入的专家意见指标来预测个股的未来趋势。 预测组件利用 GRU 对按时间排序的特征序列进行编码，并利用时间感知注意力机制动态地将隐藏状态合并到股票中。 该模型使用真实数据集进行了验证，证明了其在提出投资建议和个股预测方面的有效性。

为了解决非平滑动态和复杂市场依赖性带来的股票走势预测困难，王等人(Wang 等人, 2021c)引入了一种新的分层自适应时间关系网络（HATR） ）用于描述和预测 2021 年股票的演变。 HATR 模型通过使用扩展因果卷积和门控路径，从股票交易系列的多尺度局部组合中捕获短期和长期过渡特征。 该模型建立在他们之前的工作基础上，其中他们利用霍克斯过程和特定目标查询的双重注意机制来根据个股特征检测关键时间点和规模。 此外，为了揭示股票之间隐藏的相互依赖性，作者采用了一个多图交互模块，该模块将先验领域知识与数据驱动的自适应学习相结合。

4.4. 基于卷积神经网络的模型

CNN 因其在计算机视觉 (CV) 和自然语言处理 (NLP) 任务中的有效性而受到广泛研究（Ismail Fawaz 等人，2019）。 CNN 模型由多个用于特征提取的卷积层和池化层组成。 传统的卷积层使用二维滤波器（内核）和激活函数来处理图像特征。 然而，在股票预测领域，CNN 用于处理时间序列数据，这是一维特征。 为了适应数据形状的这种差异，时间序列的 CNN 使用一维过滤器，以数据粒度确定的步长在时间序列上滑动。

人们普遍认为，CNN 擅长通过使用卷积层捕获重要特征，从而能够有效预测股票波动。 Selvin 等人 (Selvin 等人, 2017) 支持这一观点。 此外，Ding 等人 (Ding 等人, 2015) 改进了事件嵌入方法 (Ding 等人, 2014)，通过结合 CNN 来训练输入历史事件嵌入，池化层有效地提取代表性事件历史特征。 基于通用 CNN 的预测器（U-CNN pred）（Hoseinzade 等人，2019） 使用分层方法进行训练，其中 subCNN 层按顺序进行预训练，直到提出的模型结构完全的。 该模型显示出合理的结果，并且由于其浅层结构而被证明是有效的，由于需要学习的权重较少，因此降低了过度拟合的风险。

为了充分利用劳资关系中包含的信息，一些模型将知识图谱与 CNN 集成以提高其性能。 邓等人（Deng等人，2019）提出的知识驱动时域卷积网络（KDTCN）就是这样的一种模型。 该模型利用 Open IE (Etzioni 等人, 2008) 提取与知识图相关的事件并做出可解释的股票预测。 传统一维卷积层的一个常见问题是数据泄漏，其中来自时间 $t-1$ 和 $t+1$ 的信息可能会影响时间 $t$ 的数据。为了解决这个问题，KDTCN 模型采用因果卷积，它仅使用上一层中当前时间步和先前时间步的信息。 KDTCN 模型已被证明可以通过提取价格时间序列中的显着特征来有效解释价格突变（Deng 等人，2019）。

CNN 和 LSTM 的集成可以进一步增强时间序列预测。 陆等人 (Lu 等人, 2020) 介绍了一种用于预测每日股票收盘价的 CNN-LSTM 模型，其中 CNN 组件从 10 天历史数据时间序列中提取特征，LSTM 组件做出价格预测。 在随后的研究中，陆等人(Lu 等人, 2021)提出了一种CNN-BiLSTM-AM模型，该模型结合了注意力机制来捕捉历史上有影响力的股票波动对价格时间序列的影响，并提高了模型的性能基于 CNN 的模型。 王等人(Wang 等人, 2021e)还提出了一种用于股票收盘价预测的CNN-BiLSTM模型，并通过在Bi-LSTM的输出门中添加tanh函数来提高模型的性能。 Mehtab 和 Sen （Mehtab and Sen，2020） 提出了一种用于预测印度股票开盘价的单变量卷积 LSTM 模型，并通过将 10 天的时间序列划分为两个 5 天的数据来提高模型的性能序列以允许卷积层提取更多历史数据特征。 此外，GRU 的使用最近也被证明可以有效地处理任务。 Zhou、Zhou和Wang（Zhou等人，2022）提出了一种由CNN和双向GRU组成的基于特征选择的集成股市预测模型。 CNN负责特征提取，GRU负责处理时间序列数据。 他们以股市收盘价作为模型输出，所有其他数据作为输入，得到的结果比其他基本模型误差更小。

最近的一些研究探索了知识图谱、LSTM 和 CNN 的集成用于股票预测。 Wu 等人 (Wu 等人, 2020) 开发了一个基于 CNN 的框架，该框架利用了历史股票价格和未来数据，例如领先的财务指标。 在他们的后续工作（Wu等人，2021）中，他们提出了一种基于图的CNN-LSTM模型，该模型使用由选项图像、未来图像和历史图像组成的组合图像。 该图像包含 30 天的信息，包括一只特定股票的股价和财务指数。 组合图像的行代表时间序列变化，而列代表输入 CNN-LSTM 模型的特征。 为了解决模糊系统中的过度拟合和收敛速度慢的问题，Chandar （Chandar，2022）开发了一种稳健的股票交易模型。 该模型从历史股票数据中提取了十个技术指标，并将其用作特征向量。 通过设置数据范围，提高了收敛速度。 然后将这些特征向量转换为图像并用作 CNN 模型的输入，以获得标记的卖出点、买入点和持有点。 CNN 模型中添加的 dropout 层有助于防止过度拟合。 该模型的有效性通过准确度和 F1 分数来衡量。

4.5. 基于图神经网络的模型

GNN 是一种以图的形式处理数据的人工神经网络，如（Scarselli 等人，2008）中所述。 它们在股票市场预测中发挥着至关重要的作用，因为它们能够对不规则结构化数据进行操作，这与专为欧几里德结构化数据设计的 CNN 不同。 GNN 的结构由节点和边组成，这使得它能够对实体之间的关系进行建模。 在股票市场预测的背景下，节点通常代表公司或股票，边代表它们之间的关系。 例如，关联公司的股价往往会同时波动，比如当一则好消息发布时，相应的股票就会立即飙升。 这凸显了在进行预测时考虑关系的重要性。 本章将探讨四种主要的基于图的模型：GNN、图卷积网络（GCN）（Kipf 和 Welling，2016） 和图注意网络（GAT）。

图神经网络（GNN）。 Matsunaga、Suzumura 和 Takahashi （Matsunaga 等人，2019） 采用知识图谱来整合公司信息和 GNN 模型，作为预测个股表现的手段。 知识图的使用允许在股票市场预测的背景下表示代表公司的实体之间的关系。 本文的主要贡献之一是通过滚动窗口分析利用回溯测试方法。 同样，Ding 等人 (Ding 等人, 2016) 在他们之前的事件驱动工作 (Ding 等人, 2014, 2015) 的基础上引入了知识图神经张量网络（NTN）模型。 该模型对表示提取事件的实体之间关系的实体向量进行编码，并将其输入到事件嵌入学习过程中，解决事件嵌入在揭示事件之间的句法或语义关系方面的局限性。

徐等人(Xu 等人, 2022)通过引入层次图神经网络（HGNN）解决了股价涨停板预测的挑战。 该模型考虑了市场状态的各种属性，通过构建股票市场关系图，并以分层方式从节点视图、关系视图、图视图等多个角度提取信息。 HGNN在涨停股票类型分类方面取得了良好的效果，并带来了投资回报率的提高。 类似地，Li 等人 (Li 等人, 2022b) 提出了一种基于 GNN 的模型，通过融合多源异构子图来预测股市。 本研究中使用的数据集包括三种类型的子图，代表股市指数、股市新闻和图形指标之间的关系。 然后将这些子图的融合转换为完全连接的分类层以进行预测。 Ang 和 Lim (Xu 等人，2022) 利用图编码模块在公司关系中传播多模式信息。 此外，他们还引入了一个注意力模块，用于捕获公司间关系和不同模式之间的全球和本地信息。 该模型在三个预测任务和两个现实数据集应用程序中表现强劲。

图卷积网络（GCN）。 GCN是一种专门用于处理图数据的深度学习模型，它使用图卷积层从图中提取特征，并根据图中节点之间的关系进行预测。 GCN 通常与其他深度学习模型结合使用。 例如，Chen和Wei（Chen等人，2018）提出了一种利用GCN模型整合企业之间关系的管道预测模型。 在该模型中，每个公司都表示为图中的一个节点，边代表公司之间的关系，这些边的权重代表持股比例。 此外，基于 LSTM 的编码器层用于对企业的历史特征进行编码，从而提高性能。 同样，李等人(Li 等人, 2021a)提出了一种LSTM关系图卷积网络（LSTM-RGCN）模型，可以处理股票之间的正相关性和负相关性。 公司之间的相关性矩阵是根据历史市场数据计算的，RGCN层中添加的LSTM机制有助于缓解预测隔夜股价走势时的过度平滑问题。 还引入了一种新颖的门控时间卷积来学习库存特征的时间演化。

一些现有模型旨在捕捉股票价格和新闻信息之间的时间依赖性。 然而，他们并没有充分利用其他高度相关股票的信息。 为了解决这一差距，Yin等人（Yin等人，2021）引入了集成GCN和GRU的图卷积网络模型。 GCN 从具有高度相似性的股票中提取特征，然后将其输入 GRU 模型以捕获时间依赖性。 另一种考虑股票之间关系的方法是冯等人（Feng 等人，2019）提出的关系股票排名（RSR）框架。 RSR 框架由三层组成：使用 LSTM 的顺序嵌入层、关系嵌入层和预测层。 此外，他们提出了一种时间图卷积模型来解决排名问题。 Sawhney 等人提出了时空超图卷积网络（STHGCN）（Sawhney 等人，2020b），这是一种使用超图结构来建模股票之间关系并应用空间超图卷积的著名方法。 这是第一个超图学习方法。

由于公司运营和公众舆论等多种因素，预测个股的价格走势可能是一项艰巨的任务。 然而，股票市场指数提供了一种更可靠的手段来了解股票市场中特定行业或公司的整体趋势，因为它们受单个公司变量的影响较小。 王等人(Wang 等人, 2022)在最近的一项研究中，利用GCN来分析股票走势预测中指标的相关性。 他们引入了 MG-Conv 模型，该模型基于多图卷积神经网络，并利用使用成分股数据构建的指数之间的静态图。 此外，他们还根据不同投资组合策略的指数之间的趋势相关性创建了动态图，并基于两个图定义了多图卷积运算。

图注意力网络（GAT）。 图注意力网络（GAT）结合了 GNN 和注意力层的优势，以提高大规模图的性能。 注意力机制有助于关注最关键的节点，减少复杂背景噪声的影响，提高信噪比。 此外，注意力允许利用节点之间的互连性和层次连接来增强当前任务的相关信息。 Kim 等人（Kim 等人，2019）提出使用分层注意力网络（HAT）利用关系数据来预测个股价格和市场指数走势。 HAT 采用 LSTM 和 GRU 作为这些各自任务的特征提取模块，并通过聚合不同类型的数据并将这些信息添加到每个表示中，获得比以前的方法更好的结果。 同样，Sawhney 等人 (Sawhney 等人, 2020a) 提出了一种用于股票预测的多管齐下的注意力网络 (MAN-SF)，该网络利用分层注意力融合来自金融数据、社交媒体和股票间关系的信息训练 GAT。

预测特定公司趋势的一种方法是使用基于公司之间预先建立的关系的 GCN。 然而，动量溢出可以通过各种公司联系发生，其重要性可能会随着时间的推移而改变。 Cheng 和 Li （Cheng and Li，2021） 引入了属性驱动的图注意力网络（AD-GAT）来捕获这些属性驱动的动量溢出。 该网络利用基于张量的特征提取模块，利用公开的注意力机制来推断市场信号中的动态公司关系。 研究发现，所提出的模型比 GCN、eLSTM (Li 等人，2021c) 和 TGC (Feng 等人，2019) 更准确，并且具有更高的 AUC。使用标准普尔 500 指数三年数据进行的实验。

4.6. 基于 Transformer 的模型

CNN 通过创建二维信息的内部表示来擅长处理空间数据。 此外，RNN 更适合涉及时间或顺序数据的任务，例如财经新闻、推文和股票价格时间序列。 然而，RNN 可能难以处理长序列，因为模型可能会忘记远处位置的内容或混淆附近位置的内容。 Transformer 通过利用自注意力机制和位置嵌入来处理句子来解决这个问题。 因此，Transformer 模型在各种股市预测任务中都显示出了可喜的结果。

基于 Transformer 的模型。 为了增强股票波动率模型，Ramos-Pérez 等人（Ramos-Pérez 等人，2021）实施了机器学习和深度学习技术。 他们提出了 Multi-Transformer 模型，这是现有 Transformer 模型的变体，它采用随机选择各种训练数据子集的策略，并结合多重注意力方法来提高注意力过程的稳定性和准确性。 同样，Ding 等人 (Ding 等人, 2020) 引入了分层多尺度高斯变换器来预测股票走势。 他们通过结合多尺度高斯先验和优化局部性，以及实施正交正则化来防止多重注意力下的冗余学习头，对传统 Transformer 进行了改进。 此外，他们还为 Transformer 开发了 Trading Gap Splitter，以帮助学习高频金融数据的结构层次结构。

Transformer 模型已被证明可以有效捕获长期依赖性，使其非常适合解决与时间依赖性相关的问题。 Li 等人 (Li 等人, 2022a) 提出了一种新颖的 Transformer 编码器注意力（TEA）框架，利用注意力机制解决金融数据中的时间依赖性问题，并揭示与社会相关的股票价格中隐藏的信息媒体文本。 TEA 模型采用特征提取器和级联处理器架构，由 Transformer 编码器、注意力机制和归一化技术组成。 特征提取器有效地从五个日历日的过去文本和股票价格中收集信息，以提取关键信息。 同样，Zhang 等人 (Zhang 等人, 2022) 引入了基于 Transformer 的注意力网络 (TEANet) 架构，利用五个日历日的数据来处理时间相关问题。 TEANet 框架包括一个深度文本特征提取器，它利用 Transformer 和串联处理器来有效地合并和平衡各种元素的影响，例如推文和市场价格。 Yoo 等人 (Yoo 等人, 2021) 通过利用多个股票之间的联系提高了预测准确性。 为了实现这一目标，他们引入了具有多级上下文 (DTML) 的数据轴转换器。 DTML 模型以端到端方法构建不对称和动态相关性，以了解股票之间的相关性并为所有个股提供最终预测。

许多利用基于 Transformer 的模型的研究都采用文本信息作为输入来理解股票相关新闻媒体的情绪。 财经新闻情绪分析的目标是预测市场对文本中潜在信息的反应（杨等人，2020b）。 李等人（李等人，2017b）认为，社会情绪对于反映公众对股票走势的看法起着至关重要的作用。 为了收集这些信息，我们从社交平台和财经新闻文章中收集了一系列社会情绪和专业意见。 然后将这些数据输入张量 Transformer 进行模型训练，这有助于消除噪声并捕获更多内在关系。 然后，经过训练的模型可以利用各种来源的数据来探索社会情绪的影响和功能。 刘等人(Liu 等人, 2019)认为，现有的基于社交媒体的股票预测算法只考虑了个股的语义和相关性，而未能考虑到大量社交媒体平台上存在的相互矛盾的信息。 他们提出了一种基于 Transformer Encoder (CapTE) 的 Capsule 网络作为解决方案，其中包括一个 Transformer Encoder 来捕获推文之间的深层语义特征和结构化关系。 Yang 等人 (Yang 等人, 2020a) 提出了一种基于 Transformer 的分层多任务 (HTML) 模型，用于预测短期和长期资产波动性。 此外，除了有关金融的常见新闻和报告之外，他们还使用音频数据来做出预测。

陈等人（Chen 等人，2022）介绍了门控三塔 Transformer （GT3）作为提取和整合多元股票时间序列的解决方案。 为了解决有限感受野的挑战，他们实现了移位窗塔编码器（CWTE），用于从数据嵌入中捕获通道特征。 为了提取和聚合多尺度时间信息，团队开发了具有多时间聚合功能的平移窗塔编码器（SWTE）。 为了提取复杂的文本特征，该团队采用了普通的 Transformer 编码器作为文本塔编码器 (TTE)。 此外，还采用了跨塔注意力方法来帮助模型理解市场趋势和社交媒体内容传达的含义。 然后，CWTE、SWTE 和 TTE 的特征通过自适应门层融合，以获得高效、准确的结果。

预训练的语言模型。 BERT 是一种基于 Transformer 架构的语言模型，已成为自然语言处理任务预训练的热门选择（Devlin 等人，2019）。 该模型利用两种独特的训练方法，即掩码语言建模（MLM）和下一句预测（NSP）（Devlin 等人，2019），来了解单词和长期信息之间的关系句子之间的依赖关系。 此外，BERT 的预训练模型可以进行微调以适应特定的用例。

财经新闻被认为是股市分析的重要信息来源，其对股票回报的影响已被充分记录（Li等人，2014）。 董等人(Dong 等人, 2020)提出了一种BERT-LSTM模型，该模型使用BERT根据社交媒体新闻提取股票价格的方向，而自回归LSTM则集成信息特征作为协变量。 该模型还利用历史价格趋势来预测未来的股价走势。 Sonkiya 等人 (Sonkiya 等人, 2021) 使用 BERT 模型对有关 Apple Incorporation 的新闻和头条进行情感分析。 从分析中获得的情感分数被用作 GAN 的输入向量，GAN 由 GRU 和 CNN 作为生成器和鉴别器组成。 GAN 能够连续生成数据，并区分真实的股票价格样本和生成的股票价格样本，从而达到预期的预测效果。 该模型的早期收敛通过使用情绪分数作为输入进行了优化。 Colasanto 等人 (Colasanto 等人, 2022) 利用基于 Transformer 的模型 AlBERTo (Polignano 等人, 2019) 改进了股票预测，用于意大利社交媒体的情绪分析媒体。 该模型计算市场上可能影响股票的各种事件新闻的情绪值。

一些研究人员提出，新闻评论可以影响投资者的情绪，并最终影响他们对市场趋势和投资决策的估计，而不是仅仅依靠文本中的情绪来预测股市。 李等人（李等人，2020）使用BERT预训练模型对新闻网站上的投资者评论进行评估和分类。 他们应用横截面回归分析方法来验证投资者情绪与股票回报之间的关系，利用两步横截面回归验证（Fama and MacBeth，1973）来消除任何潜在的问题数据的异方差性和一致性。 赵等人（Zhao等人，2022）也认识到专家股评对于准确预测股票的重要性，因此选择利用BERT来更全面、准确地翻译领域专家的评论。 他们指出，BERT 的固定长度文本输入会导致在探索长文本信息时表现不佳。 为了克服这个限制，他们采用滑动窗口技术对原始文本进行分割，增加样本量并减少过度拟合，以从冗长的文本中捕获所有信息。 此外，他们从 BERT 模型的每一层提取输出特征，并应用消融策略从这些特征中提取有用的信息。

BERT 在股票市场中的应用不仅限于预测价格或走势。 周等人（Zhou 等人，2021）提出了一种基于双层 BERT 的模型来检测预定义的交易事件，并通过纳入广泛的金融文本进一步增强了该模型。 低级模型是一个多标签词符分类器，用于识别每个短语中每个词符的事件。 高级模型将低级模型的输出与整篇文章相结合，以确定每个事件发生的可能性。 最终的交易策略基于识别的时间和股票代码，利用字符串匹配来检测事件。 Hsu 等人 (Hsu 等人, 2021) 采用选择性扰动掩蔽 (SPM) 方法进行基于方面的情感分析。 SPM 分析句子中每个单词的值，并使用两种替换策略替换无关紧要的单词，而不影响方面级别的极性，以解决可读性和语义一致性问题。 作者将 SPM 的股票价格和风险变化预测作为情感分析的真实场景进行了测试，并在方面术语情感分类 (ATSC) 和方面术语提取 (ATE) 等子任务中进一步对其进行了评估。

4.7. 强化学习模型

图 6. 在金融交易领域，主体（交易者）与环境（金融市场）之间的互动至关重要。 强化学习算法通过将金融市场和交易者分别视为环境和代理来利用这种交互作用。 在代理内，不同的 RL 算法可能会结合使用策略网络和 Q 网络。 金融中的财务数据和收益可以看作强化学习中的状态$S$和奖励$R$，而交易可以看作是强化学习中的动作$A$ RL。

在股票市场中，强化学习用于设计交易策略和管理投资组合。 强化学习是一个允许通过与环境交互进行学习的框架，如图6所示。 RL 中的关键概念包括马尔可夫决策过程 (MDP) （Puterman，2014）、代理、环境和奖励信号。 强化学习问题可以表述如下：智能体通过与环境的交互来优化其策略。 具体来说，代理由状态和策略组成，在时间 t 时由 $S_t$ 和 $\pi$ 表示。当智能体与环境交互时，会收到奖励$r$，并且智能体的状态会更新为$S_{t+1}$。 如果下一个状态仅依赖于当前状态，则决策过程被视为马尔可夫。

MDP 还可以以元组的形式定义：$ℳ=\{𝒮,𝒜,ℛ,𝒯,\gamma \},$，其中状态和动作分别由 $𝒮\in {ℝ}^n$ 和 $𝒜\in {ℝ}^m$ 表示。 函数$ℛ:𝒮\times 𝒜\to ℝ$代表奖励，函数$𝒯:𝒮\times 𝒜\to 𝒮$代表下一个状态。 折扣因子$\gamma$用于减少未来奖励的影响。 RL 的目标是优化策略，以最大化预期回报。

一般交易流程包括高频交易和投资组合管理，如图6所示。 这个过程可以形式化为一个决策过程，用MDP$ℳ=𝒮,𝒜,ℛ,𝒯,\gamma$表示。 在此 MDP 中，状态 $s$ 包含公司的基本信息和市场数据，以及代理所持有的头寸。 动作$a_t$是一个连续或离散向量，指示在给定时间步长内交易的股票数量。 每个时间步的奖励$r$是该步获得的利润。 状态转换$𝒯$由状态和动作共同决定。 RL 算法的目标是找到一种策略，使轨迹 $\tau$ 上的预期回报 $R=\underset{𝜏}{E}[{\sum }_{i=1}^{\mathrm{\infty }}{\gamma }^{t-1}{r}_t]$ 最大化。

4.7.1. 无模型强化学习

无模型强化学习算法是近几十年来发展起来的一个成熟的分支，其中代理直接与环境交互。 在无模型环境中，政策梯度、Q-learning和混合算法在金融市场中得到广泛应用。

政策梯度。 RL 的目标是最大化预期回报。 一种直接的方法是最大化目标函数$J({\pi }_{\theta })=E_{\tau \sim {\pi }_{\theta }}[R(\tau )]$。 该函数的梯度称为$\nabla J({\pi }_{\theta })$，称为策略梯度。 通过使用对数导数技巧，梯度可以转换为：

(1) $${\nabla }_{\theta }J\left({\pi }_{\theta }\right)=\underset{\tau \sim {\pi }_{\theta }}{\mathrm{E}}\left[\sum _{t=0}^T{\nabla }_{\theta }\log {\pi }_{\theta }\left(a_t\mid s_t\right)R(\tau )\right].$$

REINFORCE算法（Williams，1992）是基本的策略梯度算法。 Advantage Actor-Critic (A2C) (Mnih 等人, 2016) 算法通过添加基线来减少方差和批评家来估计状态值来改进 REINFORCE，从而可以评估动作词符。 为了提高A2C的效率，提出了异步优势Actor-Critic（A3C）（Mnih等人，2016）算法，该算法使用多个代理异步训练Actor-Critic网络。 信任域策略优化（TRPO）（Schulman等人，2015）和邻近策略优化算法（PPO）（Schulman等人，2017）对KL-设置约束divergence和clip分别表示旧政策和新政策有多大差异，并在这些约束下采取最大的改进步骤。

REINFORCE算法因其能够通过梯度上升进行优化而在金融交易领域受到关注。 例如，Liang 等人 (Liang 等人, 2018) 在对抗训练环境中评估了 DDPG、PPO 和 REINFORCE 三种不同的 RL 算法的有效性，发现 REINFORCE 表现最好。 这些实验是在中国股票市场上进行的，作者认为基于政策梯度的方法特别适合金融场景。 此外，通过使用带有循环网络的策略梯度将历史信息纳入状态也是一种有前途的方法。 Jiang、Xu和Liang（Jiang等人，2017）开发了一种用于投资组合管理的无模型金融强化学习框架，该框架结合了CNN、RNN和LSTM，并建立在确定性策略梯度（DPG）的基础上）。 该框架在加密货币市场上进行了测试，结果显示其性能优于其他方法。

基于行动者批评家的方法已被证明可以通过纳入状态价值来有效减少政策方差。 李、饶、石（李等人，2018a）和 Ponomarev、Oseledetsa 和 Cichocki （Ponomarev 等人，2019） 都采用了演员评论家方法（A2C 和A3C）结合CNN分别分析中国股市和RTS指数期货。 Li、Rao 和 Shi (Li 等人, 2018a) 在他们的研究中发现，他们提出的 Deep Actor-Critic Trading (DACT) 策略优于其他方法，例如买入并持有、DQN 和 REINFORCE 。 与此同时，Ponomarev、Oseledetsa 和 Cichocki (Ponomarev 等人, 2019) 取得了可喜的成果，即使考虑佣金，每年也能实现 66% 的盈利能力。

一些研究试图通过利用不同股票之间关系的信息来提高量化交易的性能，而不是仅仅专注于改进 RL 算法。 例如，王等人(Wang 等人, 2019)开发了AlphaStock方法，该方法利用锐比率导向的政策梯度方法来解决投资组合管理中的挑战，例如平衡利润和风险以及避免极端情况损失。 该方法融合了资产之间关系的信息，并且是第一个使用深度强化学习（DRL）实施可解释交易策略的方法。 该算法在美国和中国股票市场进行了测试，结果显示了其有效性、鲁棒性和泛化能力。 它倾向于选择具有上涨趋势且波动性较低的股票。 在 AlphaStock 的基础上，Wang 等人 (Wang 等人, 2021b) 提出了一种新的策略梯度交易算法，称为 DeepTrader，用于投资组合管理。 它包括资产评分单元 (ASU) 和市场评分单元 (MSU)。 ASU 分别使用扩张的 CNN 和注意力机制提取跨资产的时间和空间特征，并引入 GCN 来表示资产之间的相互关系和因果关系。 MSU 控制多头和空头的整体头寸，其主网络是提取历史市场表征的 LSTM。 DeepTrader 在不同的股票市场进行了测试，与基线相比，以更低的风险实现了最有利可图的业绩。

Q-学习方法。 Q-learning是一种通过更新动作状态值来获得最优策略的方法，用$Q$表示。 Bellman更新用于更新$Q$，直到收敛到最优值。 然后可以通过贪婪地搜索 $Q$ 值来找到最优策略。 深度Q学习网络（DQN）的出现，通过使用深度神经网络来逼近Q值，将Q学习带到了一个新的水平。 在 DQN 之前，许多金融交易研究都使用表格 Q 学习算法（Dempster 等人，2001；Jangmin 等人，2006；Chen 等人，2007；Lee 等人，2007；Bertoluzzo 和 Corazza，2012；Eilers等人，2014）。 基于 DQN 的模型在该领域显示出了有希望的结果。 Carapucco Neves 和 Horta (Carapuço 等人, 2018) 使用基于 DQN 的 RL 代理进行外汇交易，从而实现了稳定的学习和环境构建。 Lucarelli 和 Borrotti （Lucarelli and Borrotti，2019）提出了一种用于加密货币交易的 Double Dueling DQN，并评估了不同奖励函数的性能，例如利润奖励函数和急剧比率奖励函数。 Theater 和 Ernst （Théate and Ernst，2021） 利用有限的股票市场数据集开发了一种基于 DQN 的交易算法，并引入了新的评估指标，包括夏普比率、索蒂诺比率和利润或损失比率。

由于具有处理时间序列数据的能力，研究人员越来越被具有循环网络的 DQN 变体所吸引。 黄（Huang，2018）提出了一种结合时间、市场和仓位特征的股票交易MDP模型，并利用具有小重放内存和动作增强的循环DQN来求解该模型。 Chen 和Gao （Chen 和Gao，2019） 还使用了 DQN 的变体，即深度循环 Q 网络 (DRQN)，对 S&P 500 ETF 数据进行自动交易，并与其他方法相比取得了卓越的性能。 此外，Tsantekidis 等人 (Tsantekidis 等人, 2020) 在外汇市场中应用了周期性 DQN，并使用了一种新颖的奖励函数，该函数结合了价格追踪、利润、夏普比率和最大回撤，以增强算法的简单性和有效性。

预测市场行为的循环算法（例如 RNN、LSTM 和 GRU）通常仅依赖于价格信息。 然而，正如 Carta 等人 (Carta 等人, 2021) 所指出的，仅使用价格信息和监督方法来预测未来市场行为非常具有挑战性。 为了解决这个问题，作者提出了一种利用 DQN 的多层、基于集成的交易代理。 该算法利用不同的元学习器来最大化奖励并在各种迭代中生成交易信号。 此外，所有学习者都会共同做出交易的最终决定。 所提出的算法在未来和股票市场上进行了测试，结果发现其性能优于考虑的基线。

混合方法。 混合强化学习算法同时学习策略和 Q 函数。 一个这样的例子是确定性策略梯度方法，它包括诸如深度确定性策略梯度（DDPG）（Lillicrap等人，2015）、双延迟DDPG（TD3）（Fujimoto等人）等变体，2018），以及软演员评论家（SAC）（Haarnoja 等人，2018）。 特别是，DDPG 利用离策略方法从 Q 函数中学习 Q 值和策略。 TD3 结合了 Clipped Double-Q Learning、延迟策略更新和目标策略平滑等技术来防止 Q 值的高估。 另一方面，SAC 将熵正则化与 Clipped Double-Q Learning 相结合，并使用 Polyak 平均更新 Q 网络。

由于 DDPG 能够在连续行动空间中结合政策梯度和 Q 学习的优势，因此其在金融市场中的使用已被研究人员广泛研究。 Xiong 等人 (Xiong 等人, 2018) 将 DDPG 算法应用到由 30 只道琼斯工业平均指数成分股组成的自定义环境中，以制定股票策略。 通过将代理的绩效与道琼斯工业平均指数和传统的最小方差投资组合配置策略进行比较来评估代理的绩效。 结果显示，拟议的代理商表现出了卓越的盈利能力。

同样，Bao 和 Liu （Bao and Liu，2019） 采用具有多个代理的 DDPG 来解决清算问题。 这种方法允许代理相互竞争和合作，从而比单代理算法有了显着的改进。 此外，Sawhney 等人 (Sawhney 等人, 2021b) 引入了 PROFIT 模型，这是一种基于深度强化学习的方法，利用时间感知文本分析来建模市场信息并优化交易行为。 该模型在标准普尔 500 指数和中国 A 股指数的盈利能力和风险管理方面超越了竞争方法。

强化学习算法有潜力用于股票交易，但是，创建和训练实用的强化学习算法可能具有挑战性，并且容易出错。 针对这个问题，刘等人开发了FinRL库（刘等人，2020b），该库专注于无模型强化学习算法，并简化了用户的实现过程。 该库包括教程和各种金融环境，如 NASDAQ-100、DJIA、S&P 500、HSI、SSE 50 和 CSI 300，以及流行的 DRL 算法，如 DQN、DDPG、PPO、SAC、A2C 和 TD3。 此外，FinRL 还包括用于公平和客观评估的回溯测试指标。 作者不断改进平台，更新了(Liu 等人, 2021b; Li 等人, 2021b; Liu 等人, 2021a)。

尽管该领域取得了进展，研究人员仍在继续研究强化学习的替代方法。 刘等人(Liu 等人, 2020a)指出了强化学习应用于量化交易的两大挑战：处理嘈杂的高频金融数据以及平衡探索和利用。 为了应对这些挑战，他们提出了自适应交易方法 iRDPG，它将模仿学习与循环确定性策略梯度相结合。 该方法将交易过程视为部分可观察的 MDP，并使用分钟级数据进行训练，突出了其在不同市场中的稳健性和适应性。 同样，Wang 等人 (Wang 等人, 2021f) 认识到现有方法由于忽视价格滑点而不切实际。 为了解决这个问题，他们提出了一种分层模型，该模型结合了用于较低级别的最大回报的强化学习算法和用于较高级别的投资组合权重生成的策略梯度算法。 低级强化学习还利用一步时差学习来最小化交易成本并进行快速交易。

4.7.2. 基于模型的强化学习

近年来，基于模型的算法在强化学习领域受到越来越多的关注。 这些算法利用参数化逼近器（表示为${\widehat{p}}_{\eta }$)来模拟由状态和动作集$𝒮,𝒜$定义的MDP的动态。 在给定特定状态和动作的情况下，该模型允许奖励和下一个状态的近似值。 与无模型的强化学习算法相比，基于模型的方法具有多种优势。 首先，他们可以通过解决与现实世界数据采样相关的挑战（例如耗时或硬件敏感的过程）来提高数据效率。 其次，参数化模型允许有趣的探索策略。 此外，基于模型的方法可以通过结合局部规划和全局学习来提高性能。 此外，动态模型可以部署在新任务中，使其在迁移学习场景中发挥作用。 此外，该模型捕捉因果关系的能力可以帮助解决干预问题（解决特定行动的影响）和反事实问题（解决特定情况下不同行动的潜在结果）。

基于模型的强化学习因其提高动态转换模型性能的潜力而被用于多种交易算法的开发。 Yang、Yu 和 Almahdi 等研究人员（Yang 等人，2018a） 指出，投资者情绪在市场中发挥着重要作用，因此试图设计包含这种情绪的交易系统，使用高斯逆 RL 方法。 该方法旨在揭示投资者情绪与市场状况的内在映射并预测未来市场趋势。 虽然不是基于模型的方法，但 Yang 等人 (2018a) 的研究提供了有关在交易中使用此类方法的潜力的见解。 Wei 等人 (Wei 等人, 2019) 采用了不同的方法，使用限价订单簿数据以每 0.17 秒一次的频率训练世界模型。 通过使用动态转换模型，强化学习代理可以与模拟世界（而不是真实环境）进行交互以进行优化。 作者还声称，使用该模型训练的交易策略可以直接转移到真实环境中，并具有稳定的盈利能力。 基于模型的强化学习也已应用于投资组合管理任务。 Yu 等人 (Yu 等人, 2019) 提出了一种架构，包括预测模型、生成对抗性数据增强模型和策略克隆模型。 当与 DDPG 算法结合并使用每小时价格数据进行训练时，该模型展示了盈利能力和稳健性。 Briola 等人 (Briola 等人, 2021) 还采用了基于模型的方法，使用 PPO 算法构建端到端 DRL 代理。 代理了解过渡动态并实施规划以实现长期回报。 该算法使用有限的订单簿数据并选择价格变化较大的训练样本。 结果表明，所提出的代理可以在非平稳市场中产生稳定的利润。

4.8. 其他深度学习方法

在事件驱动的股票预测领域，指标数据源的使用存在两个关键问题：（1）单个数据源的可靠性低；（2）缺乏对多个数据源之间的相互作用和相关性的理解。 为了应对这些挑战，Zhang 等人 (Zhang 等人, 2018) 开发了一种耦合矩阵和张量分解方法。 该方法涉及定量特征矩阵的创建、矩阵的构建、事件和情感的提取以及耦合矩阵和张量分解的应用。 由此产生的模型能够有效地填充稀疏张量中的缺失值，从而可以通过使用因式分解的低秩矩阵来准确预测市场走势。

在高度随机的股票市场中，股票走势预测具有挑战性。 为了解决这个问题，Xu 和 Cohen （Xu and Cohen，2018） 通过他们新颖的深度生成模型 Stocknet 提出了一个解决方案。 该模型利用来自 Twitter 数据的文本和价格信号以及前五天的价格数据来预测第六天的股票走势。 Stocknet 模型由三部分组成：市场信息编码器（MIE），对推文和价格进行编码；变分运动解码器（VMD），用于解码股票运动；以及注意力时间辅助（ATA），它通过注意力机制整合时间损失。

为了解决数据和模型的不确定性导致的泛化不足的问题，王等人（Wang等人，2021a）引入了基于copula的对比预测编码（Co-CPC）方法。 Co-CPC考虑股票类别、行业和相关宏观经济变量之间的依赖关系，并以自我监督的方式从微观角度学习股票表征。 这允许将库存特征映射到广义嵌入空间。 该系统将微观库存背景与不同的宏观经济因素结合起来，并通过最大限度地减少数据和模型的不确定性的自我监督目标来捕获耦合。 类似地，Duan 等人 (Duan 等人, 2018) 提出了一种新颖的目标特定摘要引导的新闻文档表示模型，用于提取信息量最大的内容。 该模型使用新闻摘要的目标敏感表示来权衡新闻内容中的句子，从而可以选择和组合信息最丰富的句子来进行市场建模。

因子模型是量化投资策略中常用的资产定价模型。 构建有效因子模型的主要障碍之一是金融数据中存在的低信噪比。 为了解决这个问题，段等人（段等人，2022）引入了FactorVAE，它将动态因子模型与使用变分自动编码器相结合进行噪声建模。 通过用未来信息逼近因子后验因子模型，FactorVAE 可以有效地指导学习过程。

5. 数据集和模型输入

在股票预测领域，机器学习模型使用的数据集根据不同股票市场的视角而有所不同。 最受关注的两项任务是预测股票价格和价格走势。 此外，许多利用强化学习 (RL) 的研究都围绕着制定贸易政策展开。 当涉及模型中使用的输入特征时，数据集可以大致分为两类：内在数据和外在数据。 内在数据主要包括从股票数据本身提取的信息，如历史股价、财务指标和其他技术分析数据。 由于股票数据本质上是时间序列的，因此内在数据通常由时间序列数据组成。 此外，外在数据可能多种多样，可能包括文本、基础数据、工业知识图谱等信息（Jiang，2021）。 此外，该研究领域使用的数据集可以涵盖广泛的时间段，从几个月到十年或更长时间。 数据集的另一个显着特点是它们通常来自不同地区，其中大部分基于美国市场，但也包括来自中国、日本和印度的市场。 表 1 中提供了常用股票市场缩写和国家/地区信息的列表。 表 LABEL:tab:_dataset 提供了所审论文中使用的数据集和模型详细信息的概述。

表格1。 引入股票市场缩写。

Abbreviation	Country	Full Name
CSI-300	China	Index of top 300 stocks in Shanghai and Shenzhen stock exchanges
SSE	China	Shanghai Stock Exchange
SZI	China	Shenzhen Component Index
SZSW	China	Shenzhen Stock Exchange
HKEX	China	Honkong Stock Exchange
NSE	India	National stock exchange of India
Nifty 50	India	The benchmark index of the NSE (National Stock Exchange) of India
BSE	India	Bombay stock exchange
Nikkei 225	Japan	225 companies in Tokyo Stock Exchange
TOPIX	Japan	Tokyo Stock Price Index
KOSPI	Korea	The Korea Composite Stock Price Index
S&P 500	US	Standard and Poor 500 Index
SPX	US	S&P 500 index
DJIA	US	Dow Jones Industrial Average
NASDAQ	US	National Association of Securities Dealers Automated Quotations Stock Market
NYSE	US	New York Stock Exchange
IWD	US	iShares Russell 1000 Value
IWC	US	iShares Micro-Cap
SPY	US	SPDR S&P 500 ETF
DEM	US	WisdomTree Emerging Markets High Dividend
VTI	US	Vanguard Total Stock Market ETF

1. 股票价格。 股票价格被认为是股票市场表现的最直接反映，通常在各种模型中用作输入特征和预测目标。 在本次调查所审查的论文中，股票价格的使用很普遍，但根据模型设计的不同，股票价格的使用形式也多种多样，例如开盘、最高、最低和收盘数据。

2. 技术分析工具。 传统股票分析中常用的技术分析工具与股市表现具有很强的相关性。 这些工具考虑了汇率、账面市场比率、交易量和其他相关财务指标等因素。

3. 宏观经济数据。 宏观经济数据反映了特定地区的经济状况。 与股票市场相关的两个常用指标是消费者价格指数（CPI）和国内生产总值（GDP）。 这些指数可以洞察当前的市场状况，并表明股市正在增长还是下跌（Jiang，2021）。

4. 基本数据。 基本数据是指有关经济实体的综合信息，包括财务状况、公司结构以及与股东共享的任何其他信息。 然而，当在深度学习模型中利用这些数据时，由于报告频率低和非结构化文本信息等限制，仅利用了一小部分。

5. 知识图谱。 不同行业可能存在内在联系，例如同一新闻影响同一供应链中的企业。 最近的实验表明，将开源知识图谱与传统股票数据相结合可以提高模型的性能。

6. 文字信息。 文本信息涵盖广泛的来源，包括但不限于新闻文章、报告、社交媒体帖子和用户评论。 鉴于大部分信息都是非结构化的，情感分析是一种广泛采用的通过深度机器学习提取见解的技术。 数据可以分为各种类别，例如正面、中性或负面，以供进一步分析和利用。

5.1. 输入特性

根据预测目标和数据集构成对输入特征进行提取和组织，大致可分为四组：时间序列、文本、知识图谱等。

1. 时间序列。 时间序列数据是股票预测中的普遍输入，因为许多模型依赖于随着时间的推移对股票价格进行建模。 预测的具体时间范围，例如日内或日间，可以决定所使用的数据的粒度，范围从分钟级到日级。 此外，在强化学习的背景下，时间序列数据可以转换成一个可以利用特征来创建状态和奖励的环境。 这使得智能体能够与环境交互并不断改进他们的决策策略。

2. 文本。 文本信息涵盖广泛的信息源，例如新闻和文章。 人们认为此类信息会对投资者的情绪产生连锁反应。 然而，在模型中使用之前，文本信息必须经过预处理和结构化，因为它可能源自各种语言和来源。

3. 图形。 行业知识图谱应用广泛，不仅可以展示企业之间的直接联系，还可以揭示上下游供应链等内部关系。

4. 其他的。 股票预测任务中使用了不同的数据源，每个数据源都提供了独特的视角。 其中包括图像数据和音频数据（Yang等人，2020a）。 这些数据被用作补充信息，例如声音特征，例如音调，其可以指示说话者的情绪。

表 2. 评论论文中的数据集和模型。 “输入”列是指模型输入特征，“目标”列是指模型预测目标。

Author	Methods	Input	Target	Dataset	Time Span
Rather (Rather et al., 2015)	RNN	Price	Stock Return	NSE	2007 - 2010
Akita (Rather et al., 2015)	LSTM	Price, Text	Stock Price	Nikkei 225	2001 - 2008
Nelson (Akita et al., 2016)	LSTM	Price	Price Movement	Brazilian stock exchange	2014
Zhao (Zhao et al., 2017)	LSTM	Price	Price Movement	Yahoo! Finance.	2002 - 2007
Zhang (Zhang et al., 2017)	RNN	Price	Price Movement	Yahoo! Finance	2007 - 2016
Yang (Yang et al., 2018b)	GRU	Text, S&P 500	Price Movement	Reuters, Bloomberg	2006 - 2013
Li (Li et al., 2018b)	LSTM	Price	Stock Price	CSI-300 index	2013 - 2017
Hu (Hu et al., 2018)	GRU	Price, News	Price Movement	Chinese stock data, Economic news	2014 - 2017
Nguyen (Nguyen and Yoon, 2019)	LSTM	Stock pice	Price Movement	KOSPI 200 and the S&P 500	2012 - 2018
Wang (Wang et al., 2021d)	LSTM	Price, Indicators	Price Movement	Oil, Gold, Gas, Soybeans, S&P 500 and Nasdaq 100	2010 - 2017
Feng (Feng et al., 2018)	LSTM	Price	Price Movement	NASDAQ, NYSE	2007 - 2017
Ma (Ma et al., 2019)	LSTM	Price, News	Price Movement	Sohu, SSE	2009 - 2016
Chen (Chen et al., 2019)	Bi-LSTM	Event, Price, News	Price Movement	finance news related to TOPIX top 1000 stocks	2011 - 2017
Ding (Ding and Qin, 2020)	LSTM	Price	Stock Price	SSE, PetroChina on SSE, ZTE on SZI.
Shen (Shen et al., 2012)	Hypergraph	Price, Indicator	Price Movement	SSE	2008
Luo (Luo et al., 2014)	Hypergraph	Price	Price Movement	SSE	2008
Chen (Chen et al., 2018)	GCN	Stock data, Graph	Stock Price	CSI 300	2017 - 2017
Kim (Kim et al., 2019)	GAT	Stock data, Graph	Price Movement	U.S. stock market, related Wikidata	2013 - 2019
Feng (Feng et al., 2019)	GCN	Stock data, Graph	Return Ratio	NASDAQ, NYSE	2013 - 2017
Matsunaga (Matsunaga et al., 2019)	GNN	Stock data, Graph	Stock Price	Nikkei 225	2009 - 2019
Sawhney (Sawhney et al., 2020b)	GCN	Price, Graph	Price Movement	S&P 500, Yahoo finance	2013 - 2019
Sawhney (Sawhney et al., 2020a)	GAT	Price, Graph, Text	Price Movement	S&P 500, NYSE，NASDAQ, Yahoo Finance.	2014 - 2016
Li (Li et al., 2021a)	GCN	Price, Graph, Text	Price Movement	TPX500, TPX100 index, Reuters Financial News	2018 - 2018
Wang (Wang et al., 2020)	MFN	Price, Text	Stock Price	Guba	2017 - 2018
Wang (Wang et al., 2021c)	Conv., Gating	Price, Text	Price Movement	CSI-300, S&P 500, TOPIX-100	2015-2020
Xu (Xu et al., 2022)	HGNN	Stock data, Graph	Price-limit-hitting Stocks	SSE, SZSE	2018 - 2019
Li (Li et al., 2022b)	GNN	Stock, Text, Graphical Indicators	Price Movement	SSE,CSI,SZI	2013 - 2019
Xu (Xu et al., 2021)	HIST	Stock Data	Price Movement	CSI 100, CSI 300	2007 - 2020
Ding (Ding et al., 2015)	NTN	Price, Text	Price, Index	S&P 500, related news	1999
Deng (Deng et al., 2019)	KDTCN	DJIA, Text	Price Movement	DJIA, Reddit news, Freebase, Wikidata	2008 - 2016
Rasheed (Rasheed et al., 2020)	CNN	Price	Stock Price	Amerisource Bergen Corporation, Cardinal Health
Eapen (Eapen et al., 2019)	CNN	Price	Stock Price	S&P 500 grand challenge dataset on Yahoo	2008 - 2018
Wu (Wu et al., 2020)	CNN	Price, Indicators	Price Movement	TSM, NYSE, NASDAQ
Lu (Lu et al., 2021)	CNN-BiLSTM-AM	Price	Stock Price	SCI	1991 - 2020
Lu (Lu et al., 2020)	CNN-LSTM	Price	Stock Price	SCI	1991 - 2020
Wu (Wu et al., 2021)	SACLSTM	Price	Stock Price	Stock price of USA and Taiwan
Wang (Wang et al., 2021e)	CNN-BiSLSTM	Price	Stock Price	SZCI	1991 - 2020
Mehtab (Mehtab and Sen, 2020)	CNN-LSTM	Stock index, Price	Stock Price	NIFTY 50	2009 - 2020
Hoseinzade (Hoseinzade et al., 2019)	U-CNNpred	Stock index, Price	Price Movement	S&P 500	2010 - 2017
Zhou (Zhou et al., 2021)	BERT	Price, Text	Stock Events	EDT dataset, Financial articles, S&P 500 index, ETF	2020 - 2021
Ding (Ding et al., 2020)	Transformer	Price, Indicator	Price Movement	NASDAQ, CSI-500	2010 - 2019
Dong (Dong et al., 2020)	BERT+LSTM	Stock data, Text	Stock Price	Tweet news, DJIA stocks	2019 - 2020
Yang (Yang et al., 2020a)	Transformer	Price, Text, Audio, Video	Volatility	S&P 500 Earning Conference Calls dataset	2017
Man (Man et al., 2020)	BERT	Stock data, Text	Trading Strategy	CSI 300 index, Related news	2018 - 2019
Hsu (Hsu et al., 2021)	BERT,seq2seq	Text	Price Movement	Lap14,Rest14, Rest15, Rest16, SST-2, MR	2014 - 2016
Yoo (Yoo et al., 2021)	Transformer	Price	Price Movement	ACL181, KDD171, NDX100, CSI300, NI225, FTSE100	2007 - 2019
Ramos-Pérez (Ramos-Pérez et al., 2021)	Multi‑Transformer	Price	Volatility	S&P 500	2016 - 2020
Sonkiya (Sonkiya et al., 2021)	FinBERT, GAN	Stock data,Text	Stock Price	NYSE, NASDAQ, S&P 500, NIffty 50, SSE, HKI, HKEX, News	2010 - 2020
Li (Li et al., 2020)	BERT	Price, Text	Stock sentiment	Oriental Fortune online review, Monthly yield	2018 - 2020
Li (Li et al., 2017b)	Tensor Transformer	Price, Text	Stock movement	CSI 100 companies, news, social reviews	2010 - 2011
Liu (Liu et al., 2019)	Transformer	Price, Text	Price Movement	S&P 500	2017
Zhang (Zhang et al., 2022)	Transformer	Price, Text	Price Movement	Stocks, Twitter, CHRNN, Stocknet-dataset	2008 - 2019
Colasanto (Colasanto et al., 2022)	AlBERTINO, Transformer	Price, Text	Stock Price	FinancialPhrasebank, EssilorLuxottica, Intesa SanPaolo, UnipolSai	2012 - 2022
Chen (Chen et al., 2022)	Transformer	Price, Text	Stock movement	S&P 500, Tweets, Stock consequential data	2014 - 2019
Li (Li et al., 2022a)	Transformer, LSTM	Price, Text	Stock movement	88 highest-ranked stocks
Jiang (Jiang et al., 2017)	Deterministic Policy Gradient	Cryptocurrency price	Portfolio	Tradable cryptocurrency pair, cryptocurrencies	2014 - 2017
Liang (Liang et al., 2018)	Adversarial PG	Price	Portfolio	China stock market and US stock market	–
Li (Li et al., 2018a)	A2C	Price	Policy	CSI 300 stocks	2005 - 2018
Huang (Huang, 2018)	DQN	Tick-by-tick forex	Policy	12 currency pairs from TrueFX.com	2012 - 2017
Xiong (Xiong et al., 2018)	DDPG	Price, Assets	Policy	30 DJIA stocks	2016 - 2018
Yang (Yang et al., 2018a)	IRL	Stock return rate	Policy, Stock Movement	SPX, IWD, IWC, SPY, DEM, VTI	2008 - 2015
Chen (Chen and Gao, 2019)	DQN	Price	Policy	S&P 500 stocks	2000 - 2018
Ponomarev (Ponomarev et al., 2019)	A3C	Future Price	Policy	RTS Index futures (MOEX:RTSI) asks and bids	2015 - 2016
Wang (Wang et al., 2019)	Policy Gradient	Trading features	Portfolio	U.S. stock markers	1970 - 2016
Bao (Bao and Liu, 2019)	DDPG	Stock data	Policy	Simulation Environment	–
Tsantekidis (Tsantekidis et al., 2020)	PPO, DQN	forex price	Policy	Instrument combinations with currencies	2009 - 2018
Liu (Liu et al., 2020b)	DQN, PPO, TD3, DDPG, SAC, A2C	Balance Shares own price	Policy	NASDAQ-100, DJIA, S&P 500, SSE 50, CSI 300, HSI,	-
Liu (Liu et al., 2020a)	iRDPG	Indicators	Policy	300 stocks on SSI and SZI	2016 - 2019
Wang (Wang et al., 2021b)	Policy Gradient	Indicators	Portfolio	DJIA 30, HSI 49, CSI100	1971 - 2019
Carta (Carta et al., 2021)	DQN	Price	Policy	S&P 500 future market, J.P. Morgan, Microsoft	2012 - 2019
Wang (Wang et al., 2021f)	REINFORCE, DDQN	Stock, States.	Portfolio	23 DJIA stocks, 23 SSE 50 Index stocks	2000 - 2018
Briola (Briola et al., 2021)	PPO, DQN	Volumns, Position	Policy	scale market activities description	2019
Liu (Liu et al., 2021b)	DQN, PPO, TD3, DDPG, SAC, A2C	States, Price, Sentiment	Policy	Dow-30, NASDAQ-100, S&P-500, Cryptocurrencies, Currency, Futures	-
Li (Li et al., 2021b)	Ensemble Strategy	States, Price, Sentiment	RL policy Acceleration.	NASDAQ stocks	2019 - 2021
Liu (Liu et al., 2021a)	DRL-based strategy	States, Price, Sentiment	RL environments	30 DJIA stocks, 10 market cap cryptocurrencies	-
Zhang (Zhang et al., 2018)	CMT	Stock data, Text	Stock Price	CSI 100, HKEX, Wind data and news, Guba posts	2015
Duan (Duan et al., 2018)	Bi-LSTM	Stock Return	Stock Return	NYSE, Amex, NASDAQ news	2006 - 2015
Xu (Xu and Cohen, 2018)	Deep Generative	Text, Price	Stock Movement	Conglomerates sector stocks	2014 - 2016
Sawhney (Sawhney et al., 2021b)	RL	Tweets, News, Price	Stock Price	StockNet, China, Hong Kong	2014-2016
Ang (Ang and Lim, 2022)	GNN	News, Price	Stock return	IN-NY, IN-NA, BE-NY, BE-NA	2015-2019
Sawhney (Sawhney et al., 2021a)	LSTM	Tweets, News, Price	Stock Price	StockNet, China, Hong Kong	2014-2016
Zhou (Zhou et al., 2022)	GRU, CNN	Stock data	Stock Price	China	1991-2020
Chandar (Chandar, 2022)	CNN	Stock data	Stock Trading	NASDAQ and NYSE	2009-2018
Li (Li and Pan, 2022)	LSTM+GRU	Stock data + news	Stock Movement	S&P 500 Index	2017-2018
Wang (Wang et al., 2022)	GCN	Stock data	Stock Trading	42 commonly used indices	2009-2021
Duan (Duan et al., 2022)	VAE	Price	stock return	China A share	2017-2020
Wei (Wei et al., 2019)	Model-Based RL	LOB, Trade prints	Trading strategy	Hong Kong Stock Exchange.	2018
Yu (Yu et al., 2019)	Model-Based RL	Stock Price	Portfolio	U.S. equities	2005-2018
Yin (Yin et al., 2021)	GCN+GRU	Price, trade volume	Price, Price direction	DJIA,exchange-traded funds (ETFs)	2010-2020
Zhao (Zhao et al., 2022)	BERT	stock price,text	Stock Movement	East Money	2020

6. 评估

评估措施在评估股市预测模型的性能方面发挥着至关重要的作用。 它们用于将不同模型做出的预测与实际值进行比较。 分类模型常用的评估指标包括基于准确性的指标，而回归模型通常使用基于误差的指标，例如 MAE 和 RMSE。 在本文中，我们将现有的评估指标分为三类：基于准确性、基于错误和基于回报。 基于准确度和基于回报的指标，当其值较大时，被认为更好；而基于错误的指标，当其值较小时，被认为更好。 表3提供了使用这三种评估指标的论文摘要。

表3。 典型的论文有三种评估方法：Accuracy-based、Error-based和Return-based评估指标。

Evaluation methods	Author	Year	Conference/Journal name	Methods	Evaluation methods
Accuracy-based	Nelson et al. (Nelson et al., 2017)	2017	IJCNN	LSTM	Accuracy, Precision, Recall, F1-score
	Zhao et al. (Zhao et al., 2017)	2017	ICTAI	LSTM	Accuracy
	Hu et al. (Hu et al., 2018)	2018	WSDM	GRU	Accuracy
	Chen et al. (Chen et al., 2018)	2018	CIKM	GCN	Accuracy
	Deng et al. (Deng et al., 2019)	2019	World Wide Web Conference	KDTCN	Accuracy, F1-score
	Li et al. (Li et al., 2022a)	2022	Complexity	Transformer, LSTM	Accuracy, MCC
Error-based	Rather, Agarwal and Sastry (Rather et al., 2015)	2015	ESA	RNN	MSE, MAE
	Zhang et al. (Zhang et al., 2017)	2017	KDD	RNN	MSE
	Li et al. (Li et al., 2017b)	2017	MTA	Tensor Transformer	RMSE
	Li et al. (Li et al., 2018b)	2018	PMLR	LSTM	MSE
	Feng et al. (Feng et al., 2019)	2019	TOIS	GCN	MSE
	Rasheed et al. (Rasheed et al., 2020)	2020	IEEE	CNN	MAE, RMSE
	Eapen et al. (Eapen et al., 2019)	2019	IEEE	CNN	MSE
	Dong et al. (Dong et al., 2020)	2020	IEEE	BERT, LSTM	RMSE
Return-based	Li Rao and Shi (Li et al., 2018a)	2018	ISCID	A2C	SR
	Xiong et al. (Xiong et al., 2018)	2018	NeurIPS	DDPG	SR
	Feng et al. (Feng et al., 2019)	2019	TOIS	GCN	MSE, IRR
	Sawhney et al. (Sawhney et al., 2020b)	2020	ICDM	GCN	SR
	Li et al. (Li et al., 2022b)	2022	MTA	GNN	SR, IR, MD
	Zhou et al (Zhou et al., 2021)	2021	IJCNLP	BERT	Average Return
	Wang et al. (Wang et al., 2019)	2019	AAAI	PG	SR
	Wang et al. (Wang et al., 2021f)	2021	AAAI	REINFORCE, DDQN	AAR, SR

6.1. 基于准确性的评估指标

在本节中，我们将澄清整个过程中使用的一些关键术语。 首字母缩略词 TP 代表“True Positive”，表示实际类别和模型预测均为正值的场景。 TN，即“True Negative”，代表实际类别和模型预测均为负数的情况。 FP（即“假阳性”）是指模型预测为正类，但实际类别为负类。 最后，FN（即“假阴性”）表示实际类别为正，但模型的预测为负。

准确度。 准确率评估正确分类的预测占预测总数的比例，是分类任务中最常用的指标。 它可以用等式表示：$Accuracy=\frac{TP+TN}{TP+TN+FP+FN}$。

在多分类混淆矩阵中，正确分类的样本表示在从左上到右下的对角线上。 该指标称为准确性，评估模型在识别样本方面的整体性能。 例如，胡等人(2018)的研究中，用准确度来衡量年化收益率，陈等人(2018)的研究中>，用于评估股价预测的结果。 然而，值得注意的是，对于类别分布不平衡的数据集来说，准确性可能不是一个合适的指标，应该采用额外的指标来更准确地表示模型的性能。
精确率、召回率、F 测量。 精度、召回率和 F1 分数可以表示为方程 $Precision=\frac{TP}{TP+FP}$、$Recall=\frac{TP}{TP+FN}$ 和 $F1=\frac{2\times Precision\times Recall}{Precision+Recall}=\frac{2\times TP}{2\times TP+FP+FN}$。

在多分类任务中，可以使用精度、召回率和 F1 分数来评估每个类别的性能。 精度是指二元分类器预测的真阳性案例的数量。 该指标反映了模型正确识别正样本的可靠性。 另一方面，回想一下，测量测试集中由二元分类器预测的真阳性案例的数量。 它表明模型检测正样本的能力。 F1-score是精确率和召回率的结合，在最近的作品中得到了广泛的应用，例如(Deng 等人, 2019; Nelson 等人, 2017; Shen 等人, 2012; Yoo 等人, 2021；Colasanto 等人，2022） 评估神经网络的性能。 F1-score 旨在在精确度和召回率之间取得平衡，以公平评估模型。 但需要注意的是，当使用精度、召回率和 F1 分数来评估模型的性能时，可能会导致不平衡并忽略真正的负例。 因此，也可以引入马修斯相关系数（MCC）作为一种可能的评估策略。

马修斯相关系数 (MCC)。 MCC（马修斯相关系数）是评估单值分类模型性能的有用工具。 它提供了混淆矩阵中包含的信息的摘要，混淆矩阵是用于表示分类模型结果的矩阵。 混淆矩阵通常用以下格式表示：$MCC=\frac{TP\times TN-FP\times FN}{\sqrt{(TP+FP)(TP+FN)(TN+FP)(TN+FN)}}.$

MCC是预测样本与实际样本之间相关性的度量，取值范围为-1到1。 值为 1 表示完全正相关，而值为 -1 表示完全负相关，这种情况发生在分类器错误分类时。 与基于准确性的指标相比，MCC 对于不平衡类别更加稳健。 （Li等人，2022a；Xu和Cohen，2018；Zhang等人，2018；Wang等人，2021a）等多项研究已经使用MCC来评估其预测结果。

6.2. 基于错误的指标

可以通过将预测值与实际值进行比较来评估预测模型的性能。 最广泛使用的方法之一是测量两者之间的误差。 错误值越低表示性能越好。 在股票市场预测的背景下，通常使用各种基于误差的评估指标。 这些包括平均绝对误差、均方误差、均方根偏差和平均绝对百分比误差。 在这些指标中，值越高表示预测越好。

平均绝对误差 (MAE)。 MAE 指标代表平均绝对误差，计算预测值和实际值之间绝对差异的平均数。 （Rather 等人，2015；Rasheed 等人，2020）等多项研究已采用 MAE 作为评估实际值与预测值之间差异的手段。 MAE 的公式如下：$MAE={\displaystyle \frac{1}{n}}\sum i=1^n|yi-\widehat{y_i}|$。

均方误差 (MSE)。 MSE（即均方误差）是用于确定实际值和预测值之间的平均平方距离的度量。 与计算绝对误差的 MAE（即平均绝对误差）不同，MSE 通过使用误差平方和将误差放大到最大。 （Rather 等人，2015；Zhang 等人，2017；Li 等人，2017b；Feng 等人，2019；Eapen 等人，2019）等研究采用 MSE 方法评估实际值和预测值之间的差异。 MSE的公式表示为$MSE={\displaystyle \frac{1}{n}}\sum i=1^n{(yi-\widehat{y_i})}^2$

均方根偏差 (RMSE)。 均方根误差 (RMSE) 是一种常用指标，通过测量预测值与实际值之间差异的第二样本矩的平方根来评估预测的准确性。 它与均方误差 (MSE) 类似，唯一的区别是包含平方根。 因此，确定哪种评估指标更优越是具有挑战性的。 在（Li等人，2017b；Rasheed等人，2020）的作品中，作者利用RMSE来评估预测值与实际值之间的差异。 RMSE 的方程表示为：$RMSE=\sqrt{\frac{{\sum }_{i=1}^n{(y_i-\widehat{y_i})}^2}{n}}$。

平均绝对百分比误差 (MAPE)。 平均绝对百分比误差 (MAPE) 是用于评估预测模型准确性的指标。 它计算预测值和实际值之间的绝对百分比差异的平均值。 这种方法在文献中得到了广泛的应用，如（Zhou等人，2022；Ang and Lim，2022）等研究。 MAPE 的公式可以表示为：$MAPE=\frac{100\%}{n}{\sum }_{i=1}^n\left|\frac{y_i-\widehat{y_i}}{y_i}\right|$，其中 $n$ 是观测值数量，$y_i$ 是实际值，$\widehat{y_i}$ 是预测值。

6.3. 基于回报的评估指标

使用基于回报的评估指标可以有效地评估股市预测的准确性。 金融领域评估收益的两个常用指标是回报率和夏普比率。 这些指标的值越高，预测就越好。
投资回报率（IRR）。 IRR（内部收益率）是用于衡量投资绩效的指标。 它的计算方法是确定当前时间 ($p_t$) 的资产价值与前一时间 ($p_{t-1}$) 相同资产的价值之间的百分比差异，除以之前的值 ($p_{t-1}$)。 (Feng 等人, 2019; Sawhney 等人, 2021a)等研究已使用IRR作为评估指标来评估投资回报率。 IRR的计算公式为$Returnratio=\frac{p_t-p_{t-1}}{p_{t-1}}\times 100\%$。
平均年回报率（AAR）。 平均年回报率（AAR）是衡量共同基金历史平均回报率的指标。 与内部回报率 (IRR) 不同，AAR 按年计算回报。 它对于评估长期投资绩效特别有用。 王等人(Wang 等人, 2021d)在他们的研究中使用了2010年至2017年七年的数据集，并采用AAR作为评估方法之一来确定平均年收益率。
夏普比率 (SR)。 夏普比率（SR）同时考虑回报和风险，并计算与无风险利率（Sharpe，1994）相关的每单位波动率的平均回报。 这可以用等式表示：$SR=\frac{R_t-R_f}{\sigma }\times 100\%$，其中$R_t$表示回报，$R_f$表示无风险利率，$\sigma$表示回报率的标准差(Matsunaga 等人, 2019)。 多项研究（Li等人，2018a；Xiong等人，2018；Sawhney等人，2020b；Wang等人，2021f）利用SR作为评价指标来评估回报率的表现。

7. 未来的方向和未解决的问题

股市预测任务极大地促进了机器学习的进步，特别是在自然语言处理（NLP）和强化学习（RL）领域。 然而，为了进一步完善和发展这一领域，仍然有几个潜在的研究方向和悬而未决的问题需要解决。
提高股市预测的泛化能力。 机器学习模型准确分类或预测未见过的数据的能力称为泛化。 在股市预测的背景下，深度学习模型必须同时具备高度的永恒性和强大的泛化能力才能发挥作用。 然而，以前的一些方法很难很好地推广到现实世界的交易场景，或者在某些看不见的数据子集上表现不佳。 最近的研究表明，将自监督学习任务纳入分类任务可以提高泛化能力，如 (Mohseni 等人, 2020; Zou 等人, 2022; Hendrycks 等人, 2019) 等作品所证明的那样。 该领域的进一步研究，无论是探索现有方法还是开发新方法，可能是股市预测任务的一个有前途的方向。 未来可能值得研究一种增强泛化能力的自我监督方法。

将深度学习训练技术与在线学习方法相结合在线学习是一种利用在线训练结果作为反馈来优化模型的方法。 这种方法对于减轻股票市场的波动性、不确定性和高噪声因素的影响特别有用。 它在股票市场投资策略中的应用很有价值，因为投资者必须根据股票价格的变化不断调整投资计划。 在线学习可以同步更新模型并自动控制预测结果与期望值之间的差异。 在线学习方法的其他应用领域包括处理突然变化的时间序列。 例如，Habibi （Prescott Adams 和 MacKay，2007） 提议使用贝叶斯设置进行在线变化点检测，同时考虑到道琼斯工业平均指数每日结果的突然变化。 虽然这项工作有助于及时检测变化点，但它并没有为不断变化的交易政策提供反馈。 我们相信，在线学习和机器学习的结合对于股市预测具有巨大的潜力。

改进股市预测的评估和数据集。 目前，许多股市预测模型仅评估中间绩效指标，例如股票走势预测准确性。 然而，目前尚不清楚这些模型对实际交易系统的支持程度如何，并且缺乏统一的盈利能力评估标准。 每篇论文通常对不同的数据集使用不同的评估指标。 因此，新的股市预测模型应该能够评估与财务相关的指标，这些指标可以分为三类：利润标准，包括年化回报率（ARR）；风险标准，包括最大回撤（MDD）和年化波动率（AVol）；风险利润标准，包括卡尔玛比率（CR）、索蒂诺比率（SoR）和年化夏普比率（ASR）。 此外，目前股市预测任务比较碎片化，缺乏统一的基准数据集和清晰的任务描述，极大地阻碍了该领域的进步。

改进股市预测的时间序列异常检测。 从市场上数千只股票中快速有效地识别表现不佳的股票是一个实用的命题。 金融市场的不稳定给投资者带来重大风险；不稳定的例子包括系统性风险导致的市场崩盘以及人为宣传造成的股价异常波动。 最常见的股市预测模型未能在不考虑异常值存在的情况下捕获最佳交易点。 时间严重的异常检测将有助于股市预测，捕捉股市交易价格中的异常值，从而帮助投资者调整策略，降低投资风险。 此外，该模型还可用于对多个金融时间序列数据集进行建模并捕获感兴趣公司的异常情况。 为此，一个有前途且重要的异常检测将是设计一种基于时间序列异常检测任务的更好的机制，以在现实世界中进行交易时捕获预测任务的最佳交易点。

关于股票市场预测持续学习的所有任务。 持续学习是一种连续在多个任务上训练模型的技术，同时保留从先前任务中学到的信息，即使这些任务中的数据不再可用。 这使得神经网络能够不断积累知识并减轻股票预测等任务中的“灾难性遗忘”。 然而，当前用于股票预测的深度学习模型通常是在静态、均匀分布的数据上进行训练的，这些数据无法随着时间的推移而适应或扩展。 据我们所知，目前还没有专门为股市预测设计的持续学习模型，因为股市环境的波动需要模型自主学习新技能并适应新情况。 现有的股市预测方法评估单个数据集上的单个任务，这可能导致最近输入数据的过度拟合。 持续学习方法，例如基于参数隔离的方法，可以通过在学习每个任务后冻结部分参数来克服这个问题，从而可以更准确、更有效地更新新任务的模型。

利用分布式强化学习进行股票交易。 由于金融市场的波动和噪音，量化交易算法仍然难以平衡利润和风险（An等人，2022；Sun等人，2021）。 一种潜在的解决方案是使用分布式强化学习，最早由 Bellemare 等人在其论文 C51 (Bellemare 等人, 2017) 中提出。 分布式强化学习超越了传统的数值，利用定义的随机变量（其期望代表状态-动作值）形成分布贝尔曼方程（Bellemare等人，2017）。 该方程被证明在$p$-Wassertain距离的测量下是收缩的。 强化学习中许多最先进的 Q 学习算法都是分布式的，例如 C51 (Bellemare 等人, 2017)、分位数回归 DQN (QR-DQN) (Dabney 等人) , 2018b)、隐式分位数网络 (IQN) (Dabney 等人, 2018a)、全参数化分位数函数 (FQF) (Yang 等人, 2019)。 分布式强化学习可以提供更多有关收益分布的信息，这可以帮助算法降低风险或提高稳健性。 之前的研究已经证明了分布式强化学习在 Atari 游戏中的有效性，其中算法获得的分数高于人类玩家。 然而，分布式强化学习在金融交易中的应用探索还很有限。 因此，值得研究分布式强化学习在该领域的潜力。

将股票交易视为部分可观察的马尔可夫决策过程。 强化学习算法已广泛应用于金融交易中，如第 1 节中所述。 其中包括无模型方法，例如策略梯度、Q 学习和混合方法。 然而，这些方法假设了一个完全遵守的 MDP，它不能准确反映金融市场的开放和不断变化的性质。 为了解决这个问题，未来的研究有两种潜在的解决方案。 第一个解决方案是收集所有交易以充分观察动态，这可能需要大量的存储和计算资源。 例如，Briola 等人(Briola 等人, 2021)已经小规模地使用了交易数据，这可以作为未来研究的潜在方向。 另一种解决方案是使用基于模型的强化学习方法来近似动力学。 魏等人(Wei 等人, 2019)、于等人(Yu 等人, 2019)、刘等人(Liu 等人)等研究人员，2020a) 证明了过渡动力学模型的有效性。 因此，基于模型的方法在金融交易中的应用具有相当大的潜力，值得探索。 通过使用过渡动态模型，该政策可以进行更长期的规划。

8. 结论

在本文中，我们对利用深度学习进行股市预测的最突出的研究进行了全面审查。 为了帮助理解和组织该领域的先前研究，我们提出了一个分类系统，用于对类似作品进行分类和分组。 此外，我们还概述了当前股市预测中使用的主要方法、评估指标和数据集。 我们还探讨了悬而未决的问题，并强调了股市预测中机器学习研究的有前景的未来方向。 通过这项调查，我们旨在让读者全面了解深度学习在股市预测中的应用。