医疗保健情感计算：最新趋势、应用、挑战及其他

摘要

情感计算旨在识别、解释和理解人类情感，为医疗保健带来好处，例如改善患者护理和加强医患沟通。 然而，明显缺乏对医疗保健情感计算最新进展的全面总结，这可能会给进入该领域的研究人员带来困难。 为了解决这个问题，我们的论文旨在对过去五年发表的相关研究进行广泛的文献综述。 我们首先分析为医疗保健设计的最新数据集和情感计算方法的趋势、优点和局限性。 随后，我们重点介绍了当前技术的几个医疗保健应用热点，这些热点可能有希望在现实世界中部署。 通过我们的分析，我们确定并讨论了文献所证明的该领域持续存在的一些挑战。 通过彻底的回顾，我们进一步提出了未来潜在的研究方向，并希望我们的发现和见解能够指导相关研究人员为医疗保健中情感计算的发展做出更好的贡献。

图1： 用于医疗保健的基于学习的情感计算框架。

1简介

情感计算是指利用计算机和人工智能技术分析和识别人类情感的过程Hossain and Muhammad (2019)。 人类情绪是身体状态的直观反映，可以为治疗过程传递有用的信息。 通过情感计算准确识别患者情绪，医生可以获得更多信息的患者统计数据，并为患者提供更合适或定制的治疗。 因此，情感计算可以在帮助医生完成心理健康监测、个性化治疗和患者支持等各种任务方面发挥关键作用。 由于前景广阔的应用，医疗保健情感计算引起了越来越多的关注Alelaiwi (2019)； Yildirim-Celik 等人 (2022);陈和罗（2023）。

特别是，得益于深度学习进步带来的显着建模能力，情感计算在表示和识别各种人类相关信息方面表现出了出色的能力Rejaibi等人(2019a)；史密斯等人 (2020). 卷积神经网络（CNN）、循环神经网络（RNN）和 Transformer 等多种深度学习模型被引入，从单模态或多模态数据中提取情感特征，从而实现准确的情感识别和分析。 与此同时，情感计算的突破也为复杂的医疗场景和应用带来了令人瞩目的进展。 尽管取得了令人鼓舞的进展，但我们发现现有的相关评论大多总​​结了情感计算技术在相对狭窄的应用领域，例如抑郁症识别Giuntini等人（2020）。 我们认为，缺乏对医疗保健中情感计算的全面和深入的审查可能会给研究人员进入/理解该领域造成不必要的障碍。

为了弥补上述差距并总结最近深度学习相关进展所取得的进展，我们在本文中对医疗保健情感计算的最新进展进行了全面的文献综述。 我们的工作概述如图1所示。 总的来说，我们尝试彻底审查最近发布的数据集和方法，涵盖与医疗保健情感计算相关的广泛领域。 本文的贡献以及与其他调查的差异如下：

1)我们根据方法论确定了3个主要研究方向，包括基于行为、基于生理和基于行为生理的研究。 在这种分类法下，我们尝试对数据集和方法的最新发展趋势进行全面分析，说明它们的细节、优点以及局限性。

2) 我们重点介绍情感计算的几个最常关注的医学应用方向，即、抑郁症诊断Othmani 等人 (2021)、自闭症识别和干预Li 等人(2021)、疼痛程度识别Phan 等人(2023)以及其他相关医疗应用Ayata 等人(2020)，在情感计算和临床应用之间建立协同作用。

3) 除了现有的成就之外，我们还提出了重大挑战，这些挑战仍然给情感计算在医疗保健领域的开发和应用带来困难。 尽管面临挑战，我们也总结了未来研究的潜在方向，希望为愿意为该领域做出贡献的研究人员提供宝贵的见解。

Class	Datasets	#Subjects	#Samples	Modalities	Applications	Labels
Behaviour	FENP Yan et al. (2020)	106	11000	Visual	Pain	Pain, No Pain
	PersionSIChASD Alizadeh and Tabibian (2021)	38	418	Audio	Autism	Autistic, Normal, Phonetic units
	D4 Yao et al. (2022)	201	1339	Text	Depression	Risk, Non Risk
	MMDA Jiang et al. (2022)	962	1025	Text, Audio, Visual	Depre,Anx	Depre,Nondepre,Anx,Nonanx
	D-Vlog Yoon et al. (2022)	816	961	Audio, Visual	Depression	Depre, Nondepre
	SAD Alghifari et al. (2023)	64	64	Audio	Depression	Depre, Nondepre
	TIAD Melinda et al. (2023)	34	6120	Visual	Autism	Autistic, Normal
	PEMF Fernandes-Magalhaes et al. (2023)	68	272	Visual	Pain	Pain, No Pain
	CALMED Sousa et al. (2023)	4	57012	Audio, Visual	Autism	Autistic, Normal
Physiological	DDLES Mohammadi et al. (2019)	60	60	EEG	Depression	Minimal,Mild,Moderate,Severe
	SADR Zhu et al. (2019)	39	1170	EEG,EM	Depression	Depre, Nondepre
Behaviour	EMCASD Duan et al. (2019)	28	300	Visual, Other	Autism	Autistic, Normal
	MMOD Cai et al. (2020b)	160	160	Audio, EEG	Depression	Depre, Nondepre
-Physiological	PPAD Salekin et al. (2021)	58	58	Audio, Visual, Other	Pain	Pain, No Pain
	M-Ms Calabrò et al. (2021)	15	37127	Visual, EEG	Autism	Good, Poor

表格1： 医学领域最新的情感计算数据集。 Depre、Nondepre、Anx 和 Nonanx 分别是抑郁症、非抑郁症、焦虑症和非焦虑症的缩写。

2 数据集和方法

我们首先对情感计算研究进行文献综述，主要涵盖过去五年在医疗保健领域应用的相关数据集和方法。 表1和2分别列出了数据库和典型方法的概述。 我们发现情感计算研究根据所使用的数据类型而有所不同。 因此，我们将相关研究分为三类：基于行为数据的研究、基于生理数据的研究和基于行为生理数据的研究。 每个研究类别的详细信息如下。

2.1 基于行为数据的研究

在医疗保健领域，基于行为数据的研究需要采用情感计算技术，通过语言、面部表情和医疗记录等行为数据来分析患者的情绪。

数据集

行为情感数据集可以根据三类进行讨论：基于视觉的数据集、非基于视觉的单模态数据集和多模态数据集，具体取决于它们的受欢迎程度和不同的模态。

基于视觉的数据集是主流的数据集格式，部分原因是视觉技术的广泛应用。 目前的视觉情感数据库通常是患者面部表情的数据集。 TIAD收集了自闭症儿童Melinda等人(2023)的面部热成像，FEMP收集了11,000张新生儿Yan等人(2020)的面部图像，PEMF由272个组成带有面部图像的微剪辑Fernandes-Magalhaes 等人 (2023)。 通过面部表情分析，可以获得重要的情绪线索，帮助医生判断患者的情绪状态，提高疾病的诊断水平。

非视觉单峰数据集包含文本或音频数据模式。 文字：D4记录抑郁症诊断过程中医生与患者的对话。 每次对话中给出的诊断结果和症状摘要Yao 等人(2022)。 音频：SAD 是英国抑郁症的音频数据集，包含患有和未患有抑郁症的个体的 64 个录音 Alghifari 等人 (2023)。

多模态数据集主要结合了文本、音频和视觉数据的两种或三种模态，考虑到单一行为数据固有的情绪偏差，为患者的情绪行为提供更丰富的线索。 D-vlog 包含从 YouTube 收集的 961 个视频博客，其中包含音频和视频 Yoon 等人 (2022)。 CALMED 由从被诊断为自闭症儿童 Sousa 等人 (2023) 的会议记录文件中提取的音频和视频特征组成。 MMDA是目前最大的包含视觉、听觉、文本数据的精神障碍数据集，MMDA中的所有受试者均由专业心理学家使用去识别化的原始访谈视频Jiang等人(2022)进行诊断。

方法

如表2所示，深度学习模型近年来已成为情感计算的主导方法，并逐渐从单模态方法向多模态方法演进。

基于视觉的情感方法主要采用CNN和注意力方法从面部图像和视频中提取情感特征，识别情感类别或分数。 典型方法包括：Liu等人(2023)构建了基于自注意力机制的面部表情识别模型，用于抑郁症检测。 Lu 等人 (2023) 使用具有跨流注意力机制的双流 CNN 网络，整合新生儿面部表情视频中的空间和时间信息，以进行疼痛级别识别。

基于文本的单峰情感方法使用自然语言处理技术来分析文本数据以识别情感。 典型方法如下：Dessai and Usgaonkar (2022)使用CNN和长短期记忆（LSTM）来分析Twitter用户的推文，以发现与抑郁症相关的因素。 在Ji等人(2023)中，作者利用大语言模型的交互性和多任务处理能力来研究医学问答系统中的“幻觉”。 也就是说，该模型产生的信息听起来合理，但并不忠实或毫无意义。

基于音频的单峰情感方法通常采用CNN和LSTM来捕获音频序列的长期依赖性和高级情感特征表示。 Han 等人 (2023) 开发了一种自监督学习框架，该框架结合了集成因果卷积和扩张卷积，不断扩大捕获多尺度情感上下文信息的感受域，并采用分层对比损失来通过探索音频的长期情绪依赖性来预测抑郁症。

多模式情感方法已成为医疗保健情感计算的趋势。 这种方法结合了视觉、音频和文本信号，可以更准确地识别患者的情绪，超越了单峰情感分析的结果。 例如，Li等人(2021)使用预训练的ResNet-18和ResNet-50构建了一个两阶段网络，用于根据面部表情视频和音频进行儿童自闭症预测。 Wang等人(2023b)首先使用预训练模型ALBERT和AGG16构建视觉语言模型来提取面部表情图像特征、文本和行为特征，然后使用早期融合方法融合这些特征以形成用于抑郁程度检测的多模态特征。 Zhao and Wang (2022)提出了一种基于跨模态注意力机制的生成对抗网络，并使用基于注意力的融合方法整合面部表情视频、文本和音频来自动评估抑郁症严重程度。

2.2基于生理数据的研究

基于生理数据的情感计算研究侧重于将生理信号集成到计算模型中以进行稳健的情感分析。 生理信号记录和测量个体的情感状态、情感体验或情感反应，例如脑电图（EEG），更客观地反映真实的情绪状态Bajestani等人(2019)。

数据集

如表1所示，生理情感数据集主要包含与情绪相关的生理信号，即、脑电图、皮肤电活动（EDA）和其他相关信号(例如： 、心电图 (ECG)、肌电图 (EMG)、心率 (HR)、眼动追踪 (ET)、加速度计 (ACC)、心跳间隔 (IBI)、血量脉搏 (BVP) 和皮肤温度（ST））。 它们还可以分为单峰生理数据集和多峰生理数据集。 DDLES是一个基于脑电图的抑郁症识别数据集，是一个典型的单峰生理数据集，包含60名抑郁症和非抑郁症个体Mohammadi等人(2019)的脑电信号。 SRDR是一种多模态生理数据集，可监测特定生理变量并同步收集受试者的脑电和电磁信号，以在临床环境中提供更准确的检测数据集朱等人(2019)。 由于生理信号的采集需要昂贵的专业医疗设备，因此现有的相关数据集大多较小。

方法

基于生理的情感分析方法通常使用CNN和RNN来处理时态生理数据，可以提取生理信号的动态时频特征，有利于更好地理解动态情感状态。 根据信号数据，这些方法也可以分为两类：单峰方法和多峰方法。 Uimodal方法专注于从一种类型的情绪生理信号中挖掘情绪状态。 Xia 等人 (2023) 是一种典型的单峰方法，利用多头自注意力机制和双分支 CNN 构建从单个 EEG 信号中进行抑郁症识别的端到端模型。 相比之下，多模态方法在情绪识别过程中探索多种类型的生理信号，从而提高预测准确性。 Phan等人(2023)首先使用CNN和BiLSTM从ECG和EDA信号中提取序列中的低级特征和时间信息，然后以早期融合的方式将ECG和EDA特征结合起来疼痛识别。

2.3基于行为生理数据的研究

由于行为数据的直接性和可解释性以及生理数据的高度客观性，行为和心理数据的整合研究是医疗保健应用的自然衍生。

数据集

行为生理数据集将脑电图、EDA 和肌电图等生理数据与面部表情和音频等行为数据集成在一起。 这种整合旨在捕捉更全面的患者情绪相关线索。 M-MS 是一个多模态自闭症情感数据集，包含心电图和治疗视频，以支持自闭症识别中的同步研究Calabrò 等人 (2021)。 PPAD 是第一个包含面部表情视频、声音和生理反应（生命体征和皮质活动）的多模态新生儿疼痛数据集，该数据集是从新生儿重症监护病房住院期间的 58 名新生儿收集的 Salekin 等人 (2021) 。

方法

行为生理情感分析需要挖掘行为数据的外在表现和生理信号的内部变化，旨在实现更准确的情感分析表现。 例如，Han 等训练人 (2022) 提出了一种多模态诊断框架，该框架使用早期融合方法，结合脑电图和 ET 数据进行无监督和监督微调，以识别患有自闭症谱系障碍 (ASD) 的儿童。 最近，Qayyum 等人 (2023) 采用 ViT、CNN 和 LSTM 模型来提取音频和脑电图特征。 随后，通过早期融合将这些特征连接起来，以提高抑郁症的诊断性能。

2.4讨论

趋势

总的来说，在医疗保健领域，与单模态技术相比，分析行为和生理信号的多模态情感计算技术的研究趋势正在不断增长。 这允许探索行为数据的外部表现和生理信号的内部变化。 此外，情感计算方法也从早期基于 CNN 的模型转向基于 Transfomer 的模型，然后转向混合大规模模型，可以更好地关注各种模态序列之间的情感变化。 两者都有助于更全面地分析患者的情绪状态，协助医生完成心理健康监测、个性化治疗和患者支持等任务。

局限性

尽管取得了进展，我们发现当前技术仍然存在局限性，主要包括：对于数据集：行为数据集很容易收集但主观性和欺骗性，生理数据集高度可靠但成本高昂且很难收集。 因此，现有的多模态融合数据集的大小仍然有限，阻碍了它们完全支持复杂的医疗保健和医疗应用的能力； 对于方法：如表2所示，尽管当前研究取得了较高的识别率，但大多数现有情感模型都是在更小、更有限的数据集上独立训练和设计的。 缺乏互操作性使得在不同的医疗保健系统和应用程序中重用这些模型变得具有挑战性。

Class	Methods	Technology	Modalities	Application	Dateset	Performance
						Acc.	F1	Pre.	Rec.	MAE
B	Rejaibi et al. (2019b)	CNN	Audio	Depression	DAIC-WOZ	73.25	-	-	-	-
	Peng et al. (2020)	Multi-Scale DNN	Visual	Pain	UNBC Shoulder Pain	79.94	-	-	-	0.57
	Mallol-Ragolta et al. (2020)	RNN-LSTM	Visual	Pain	EmoPain	-	-	-	-	-
	Li et al. (2021)	ResNet	Audio, Visual	Autism	ASD-Affect	72.40	75.00	-	-	-
	Wang et al. (2021)	CNN-LSTM-Transformer	Audio,Text	Depression	Own	66.00	-	-	-	-
	Dessai and Usgaonkar (2022)	CNN-LSTM	Text	Depression	Own	92.00	93.00	93.00	94.00	-
	Mohan et al. (2022)	DCNN	Visual	Pain	Own	-	87.00	85.18	88.32	-
	Yuan et al. (2022)	SwinT	Visual	Pain	UNBC-McMaster	95.25	-	-	-	-
	Zhao and Wang (2022)	Cross-modal Attention-GAN	Text,Audio,Visual	Depression	AVEC2019	-	-	-	-	3.56
	Han et al. (2023)	Self-supervised Learning	Audio	Depression	AVEC2017	80.00	76.00	65.00	92.00	-
	Liu et al. (2023)	Self-attention Mechanism	Visual	Depression	AVEC2014	-	-	-	-	6.04
	Lu et al. (2023)	TS-ConvNet-CSA	Visual	Pain	DFEPN	66.20	-	-	-	-
	Wang et al. (2023b)	ALBERT-AGG	Text,Visual	Depression	Chinese Sina Weibo	93.82	91.00	92.52	88.58	-
	Anekar et al. (2023)	CNN-NLTK	Audio, Visual	Depression	FER2013	77.00	-	80.00	91.00	-
	Xu et al. (2023)	LSTM-CNN-Attention Mechanism	Text, Audio	Depression	E-DAIC	83.00	-	89.00	86.00	-
P	Bajestani et al. (2019)	KNN	EEG	Autism	Own	81.67	-	-	-	-
	Hadoush et al. (2019)	ANN	EEG	Autism	Own	97.20	-	-	-	-
	Zhu et al. (2019)	MDAE-SVM	EEG,EM	Depression	Own	83.42	-	-	-	-
	Pham et al. (2020)	LSDA-PNN	EEG	Autism	Own	98.70	-	-	-	-
	Baygin et al. (2021)	Lightweight deep networks-SVM	EEG	Autism	Own	96.44	-	-	-	-
	Wadhera and Kakkarl (2021)	VG-SVM	EEG	Autism	Own	94.19	-	-	-	-
	Abdolzadegan et al. (2020)	SVM	EEG	Autism	Own	90.57	-	-	-	-
	Han et al. (2022)	SDAE	EEG,ET	Autism	Own	95.56	-	-	-	-
	Xia et al. (2023)	MHSA-CNN	EEG	Depression	HUSM	91.06	-	-	-	-
	Torres et al. (2023)	CNN-ROAR	EEG	Autism	Own	93.40	93.40	93.50	93.30	-
	Phan et al. (2023)	CNN-BiLSTM	ECG,EDA	Pain	BioVid heat pain	84.80	-	-	-	-
	Lan et al. (2023)	ASGC	EEG	Depression	Own	84.27	84.22	-	-	-
	Shen et al. (2023)	FL	EEG	Depression	Own	75.00	-	-	-	-
	Zhang et al. (2023)	SVM	ECG	Depression	Own	70.00	61.54	85.71	-	-
B-P	Chen and Zhao (2019)	ResNet-LSTM	ET,Visual	Autism	Own	84.00	-	-	-	-
	Hamid et al. (2023)	LSTM	EEG,Visual	Depression	Own	96.80	-	-	-	-
	Qayyum et al. (2023)	ViT	EEG,Audio	Depression	MODMA	97.31	97.34	97.71	97.34	-
	Wang et al. (2023a)	Multimodal fusion-SVM	EEG,Audio	Depression	Own	86.78	-	-	-	-

表2： 过去五年医疗保健中情感计算方法的技术概述和性能比较。 B、P 和 B-P 分别代表行为、生理和行为生理。 Own 代表作者构建的未发布的数据集。 由于篇幅限制，我们只列出代表性的方法。

3 医疗保健应用

本节介绍医疗保健应用的情感方法。 情感计算在各种医疗保健应用中具有巨大的潜力，通过识别患者的情绪来提供诊断、治疗和治疗情绪相关疾病的新技术。 我们收集了近五年来提出的医疗保健应用中情感计算的研究，图2提供了统计数据。 总体而言，情感计算技术在医疗保健领域的应用涉及抑郁症诊断、自闭症识别、疼痛程度识别、老年痴呆监测、压力监测、智能医疗系统等。 为简单起见，我们回顾了与脑部疾病相关的三种最流行的医疗保健应用程序的代表性方法，包括抑郁症诊断、自闭症识别和疼痛级别识别。 这些应用可以覆盖当前脑部疾病的主要人群，包括儿童、成人和老年人。 在回顾了 3 个热门应用程序后，我们还对其余应用程序进行了简要回顾。

图2： 基于Web of Science关键词搜索，2019年至2023年情感计算各类医疗保健应用出版物的统计分布。 我们强调最常探索的前三个应用程序。

3.1抑郁症诊断

抑郁症是一种普遍存在的精神障碍，是社会、心理和生物因素复杂相互作用的结果，导致长期情绪低落或兴趣下降。 传统的基于自我报告的诊断是主观的，容易出现不准确的情况，常常导致治疗延误。 针对这一问题，情感计算技术应用于抑郁症诊断，提高了诊断的客观性和准确性。 目前，基于情感计算的抑郁症诊断涉及两类：基于分类的抑郁症诊断和基于回归的抑郁症诊断。

基于情感分类的抑郁症诊断有助于医护人员和医生区分患有抑郁症和未患抑郁症的个体。 Alsharif 等人 (2022) 使用梅尔频率倒谱系数提取患者的音频特征，并使用 CNN 构建分类模型来检测阿拉伯语音频数据中的抑郁症。 蔡等人(2020a)采用KNN作为抑郁症分类检测模型，通过整合中性、负性和正性音频刺激下获得的不同脑电数据来区分抑郁症患者和正常人。 Wang等人(2023b)提出了一种基于情感知识图谱的多模态抑郁症检测模型，该模型融合了文本、面部表情和其他行为(例如、用户数量帖子、博客长度、等)来解决抑郁症检测任务。 Pan 等人 (2023) 使用 Transformer 根据音频信号和面部表情对抑郁症和非抑郁症进行分类。

由于回归允许获得持续的情感状态，因此基于情感回归的抑郁症诊断已被提出来预测患者的抑郁程度或抑郁症状的严重程度。 Zhou等人(2020)提出了一种名为DepressNet的深度回归网络，利用面部抑郁数据来预测抑郁程度。 这显着提高了基于视觉的复杂抑郁症识别的最新性能。 Zhao 和 Wang (2022) 采用跨模态情感回归模型来促进从文本、音频和面部表情视频中学习更准确的多模态表示，以进行自动抑郁症严重程度评估。

临床应用 随着情感计算技术的显着进步，抑郁症诊断现已应用于临床监测。 为了防止抑郁症患者复发，尹等人(2022)设计了一种基于混合情感计算模型（即CNN-LSTM）的智能监测系统，旨在为抑郁症患者提供复发监测在他们的家庭和日常环境中。 此外，它还可用于评估新患者。 该系统包括用户输入、抑郁测试、智能监控以及与专用语音采集设备和脑电图设备等外部可穿戴设备的连接。 它还支持与在线医生的沟通以及与外部系统的集成。

局限性 总体而言，情感计算的抑郁症诊断正在从粗略分类发展到连续回归分析，以进行动态临床监测。 但仍面临抑郁症的主观性和异质性、纵向监测以及整合遗传、心理和环境因素的综合评估等挑战。 此外，目前的情感计算技术主要依赖于行为和生理指标，缺乏明确的生物学指标来支持抑郁症的客观诊断，影响了诊断的准确性。

3.2自闭症识别与干预

自闭症是一种神经发育障碍，通常以情绪和社交困难为特征。 早期诊断对于促进干预和治疗至关重要。 情感计算可以帮助专家及时评估自闭症患者在互动过程中的情绪状态，提高诊断准确性和积极的情绪干预。 因此，基于情感计算的自闭症诊断和干预越来越受到关注。

目前，自闭症诊断主要采用情绪分类模型来识别自闭症谱系障碍（ASD）。 Negin等人(2021)提出了一种具有人体动作分类的非侵入性视觉辅助方法，以方便自闭症的诊断。 Rahman 和 Booma (2022) 利用 MobileNet 以迁移学习的方式通过面部表情来检测儿童自闭症。 Wei 等人 (2023) 提出了一种轻量级的传统分类模型来识别面部视频中与自闭症相关的行为。 Han 等人 (2022) 构建堆叠式去噪自动编码器，从 EEG 和 ET 融合数据中识别儿童 ASD。 李等人(2021)结合音频和面部表情图像诊断儿童自闭症，并使用ResNet50和ResNet18作为分类器进行两阶段情感分类，从而提高了自闭症诊断的准确性

临床应用 在自闭症干预的临床应用中，利用情感计算技术增强虚拟现实（VR）的人机交互（HCI）场景，解决自闭症治疗专业人员短缺带来的挑战。 Manju等人(2023)采用VR辅助系统结合可穿戴多模型传感技术，收集HCI过程中的生理信号和游戏表现数据。 然后，它采用机器学习模型来识别 ASD 儿童，通过多种评估量表评估 ASD 的诊断、严重程度、社会行为干预和治疗。

局限性 尽管自闭症诊断和干预方面取得了一些进展，但目前的方法仍处于起步阶段，并面临儿童数据隐私问题、数据收集困难、评估复杂性以及自闭症情绪模型偏差等挑战。 此外，自闭症可能还存在其他共存的心理健康障碍，例如注意力缺陷多动障碍（ADHD），这使得情感计算模型变得复杂，难以准确诊断。

3.3疼痛程度识别

疼痛是身体对潜在伤害或疾病的复杂的身体和心理情绪反应。 准确识别疼痛在医学中至关重要，使医学专业人员能够制定有效的治疗计划以提高患者的生活质量。 通过情感计算进行疼痛级别识别的研究一直是一个突出且具有挑战性的问题。 疼痛等级识别领域采用情感计算技术进行分类和回归任务，旨在分别诊断疼痛患者并获得他们的疼痛强度。

基于情感分类的疼痛级别识别可以帮助医疗专业人员准确确定患者的疼痛位置，从而显着优化就诊时间。 例如，Vallez 等人 (2022) 借助预先训练的 CNN 分类模型从面部表情图像中识别关节疼痛。 Chen 等人(2022)使用多层CNN对日常活动中静息状态和疼痛状态的脑电信号进行分类。 Lu 等人 (2023) 在 Softmax 的帮助下，根据新生儿的面部表情视频来识别新生儿的疼痛程度。 与 Lu 等人 (2023) 类似，Phan 等人 (2023) 采用 Softmax 从 EDA 和 ECG 信号中识别疼痛级别。

为了获得患者疼痛程度的连续数值输出，开发了基于情感回归的疼痛级别识别。 Thiam 等人 (2020) 采用前馈神经网络作为回归模型，根据情绪相关的生理信号(即、EDA、EMG 和心电图）。 此外，Jiang等人（2024）使用Sigmoid非线性神经网络进行分类和回归任务，区分患者的疼痛和非疼痛，并根据ECG、EDA、和心电图。

临床应用 在临床环境中，疼痛分析对于患者的康复至关重要。 Ghosh等人(2023)提出了一种基于深度学习和统计学习的情绪分析系统，通过分析患者的面部表情图像来检测患者的疼痛程度。 此外，该系统还具备在资源受限的设备上进行疼痛检测和识别的能力，为智能医疗领域提供了强有力的支撑。

局限性 疼痛程度识别已经从最初的疼痛与非疼痛分类发展到疼痛强度的识别，从临床诊断发展到实时监测。 然而，疼痛识别与评估仍面临个体差异、情绪差异、标准校准等重大挑战。 此外，一些疼痛症状可能缺乏明显的行为和生理特征，使识别变得更加复杂。

3.4 其他相关医疗保健应用

情感计算也已应用于其他临床应用，如躁郁症Baki等人(2022)、老人陪伴与监护Meng等人(2021)、智慧医疗Ayata 等人 (2020) 等。为了方便起见，我们将其中一些内容合并为一节进行概述。

双相情感障碍是一种精神健康障碍，会导致从抑郁到躁狂的情绪波动。 Baki 等人 (2022) 基于患者音频、文本和面部表情视频的记录，创建了一个用于三级躁狂分类的多模态决策系统。 老年人监测和痴呆症诊断对于人口老龄化至关重要，尤其是在患病期间。 为了准确监测老年人的情绪状态，孟等人(2021)推出了一种基于脑电波的情绪感知医学监测系统。 智能医疗系统为医生短缺提供了替代方案。 Ayata等人(2020)通过收集和分析患者的多种生理信号，提出了一种基于情绪识别的智能医疗系统，用于情绪护理。

4挑战与机遇

尽管取得了突破，但仍存在一些挑战，但未来发展也存在相关机遇。

4.1 患者数据隐私和道德

挑战

数据隐私问题在大数据时代已众所周知，对于医疗保健行业尤为重要。 这可能是由于患者必须分享有关自己身体的极其敏感的信息。 因此，情感计算中患者临床数据的隐私是一个至关重要的伦理问题，尤其是对于儿童信息而言。 确保机密性涉及在数据传输、存储和使用方面实施强有力的措施。 面临的挑战是在遵守伦理和道德法规的同时保留与情绪相关的关键信息。 因此，需要找到适当的平衡点来保证隐私和数据分析的有效性。

机会

未来的一些潜在机会可能包括探索先进的隐私保护技术，例如联邦学习Rieke等人（2020）和安全多方计算Liu等人（2020） 。 联邦学习允许在不共享原始数据的情况下进行模型训练，并在不暴露单个数据的情况下聚合模型。 安全的多方计算允许在多方之间执行计算，同时保持数据的隐私。 这些技术可以确保患者的临床数据得到充分保护。

4.2临床数据中的情绪偏见和公平性

挑战

在临床和其他医疗保健环境中，由于群体情绪表达的异质性和注释者的主观性，情绪数据的收集和标注表现出自然偏差。 与常见大型数据集中的数据偏差问题不同，医疗保健数据存在数据量小、偏差因素多样性大的问题。 例如，环境、年龄、职业、种族都会影响情绪的表达和标签Liu等人(2022)。 此外，医生在数据收集和标记过程中的偏好和关注点也存在很大差异。 这些因素可能会导致训练人工智能模型出现高度情绪偏差和不公平。 因此，需要解决和减少偏见，以公平、公正地理解不同人群的情绪。

机会

为了降低有限标记数据库下情感计算的偏差，一些研究正在探索无监督/自监督学习算法，以减少对情感标签的依赖。 这些算法可以从未标记的数据中学习情感表征，从而减少对大规模标记数据集 Han 等人 (2023, 2022) 的需求。 此外，领域自适应学习技术的引入可以提高情感计算模型的通用性，并减轻不同文化和人口群体之间的情感偏差。

4.3 细粒度的健康相关情绪

挑战

大多数现有的医疗保健应用程序都依赖于单一、简单化的情感模型，例如六类或三类情感分类模型Ameer等人（2023）。 这些模型无法模拟可能正在接受复杂治疗的真实患者的丰富情绪，这使得医生难以做出准确的判断。 因此，开发用于临床应用的细粒度健康相关情绪模型仍然是一个尚未解决的关键问题。

机会

最近，一些研究人员提出了基于语言描述的复合面部表情模型Liu等人(2022)。 我们相信这种方法有助于描述情感细节的变化，从而指导医生做出更明智的医疗诊断。 因此，在医疗保健应用中构建多模态细粒度情感模型成为未来的发展方向。

4.4情感计算实时诊断

挑战

一些医学应用需要实时情绪分析和诊断，涉及对大数据集的快速处理和分析，同时确保准确的情绪识别，例如心理健康监测或应急响应系统。 在不影响准确性的情况下开发用于实时处理的高效算法和基础设施是一项重大挑战。

机会

探索自适应算法和边缘计算系统有助于以最小的延迟进行实时情感分析。 自适应算法可以根据不同需求直接调整和优化，提高情感分析的效率和准确性。 边缘计算系统可以将计算任务离散化到边缘设备，减少数据传输和处理的延迟，从而实现更快的实时情感分析。

4.5大型基础模型相关应用

挑战

随着视觉语言大型基础模型的发展，例如 GPT-4 Rathje 等人 (2023)，大型基础模型的重要性已在各个应用领域得到证明。 因此，构建专门针对医疗保健的情感大基础模型可能有利于增强更广泛的临床应用。 然而，医疗保健和临床数据的特定大型基础模型的获取和标注仍然具有挑战性，这对医疗保健情感基础模型的开发构成了重大障碍。

机会

利用现有的视觉语言基础模型，通过迁移学习和跨模态提示学习构建情感大规模模型，可以减少对大量训练数据的依赖，从而增强这些模型在不同应用任务中的可重用性Liu等人（2024）。 该方法不仅可以提高情感模型的效果和泛化能力，而且可以为不同领域和任务中的情感识别提供共同的基础。

5结论

本文对情感计算在医疗保健领域的应用进行了全面的调查。 具体来说，我们概述了医疗保健情感计算的发展，涵盖基于行为数据、基于心理数据和基于行为心理数据的数据集和方法。 接下来，我们介绍关键的医疗保健应用程序，重点介绍最常用的三个应用程序以及其他相关应用程序。 最后，我们总结了情感计算在医疗保健领域发展中最潜在的挑战和机遇。 我们相信，这篇综述有助于学术和工业研究人员全面了解基于情感计算的医疗保健的最新进展，并为他们提供指导。