物联网的蓬勃发展使其计算和存储能力可以扩展到云边协同的航空系统计算任务,特别是基于深度学习(DL)的人工智能(AI)任务。无人机在采集大量图像/视频数据时,由于存储和计算能力有限,只能将智能分析任务交给后端移动边缘计算(MEC)服务器。如何有效地为AI模型传输最相关的信息是一个具有挑战性的课题 ...
视频会议已成为一种流行的会议模式,尽管它消耗大量的通信资源。传统的视频压缩在有限的带宽下会导致分辨率降低。语义视频会议通过传输一些关键点来表示运动来保持高分辨率,因为背景几乎是静态的,并且发言者不会经常改变 ...
我们推出 DeepWiVe,这是第一个端到端联合源通道编码 (JSCC) 视频传输方案,它利用深度神经网络 (DNN) 的强大功能,将视频信号直接映射到通道符号,结合了视频压缩、通道编码,调制步骤进入单个神经变换。我们的 DNN 解码器在没有失真反馈的情况下预测残差,从而通过考虑遮挡/去遮挡和摄像机移动来提高视频质量。我们同时为帧训练不同的带宽分配网络,以允许可变带宽传输 ...
语义通信(SemCom)已成为支持第六代应用的新范式,其中使用人工智能算法传输数据的语义特征以获得高通信效率。大多数现有的 SemCom 技术利用深度神经网络 (DNN) 来实现模拟源通道映射,这与现有的数字通信架构不兼容。为了解决这个问题,本文提出了一种针对 SemCom 中图像传输的数字深度联合源通道编码(D$^2$-JSCC)的新颖框架 ...
随着交互式机器的使用不断增长,对话中的情绪识别(ERC)任务变得更加重要。如果机器生成的句子能够反映情感,那么更多像人类一样的同情对话是可能的。由于如果不考虑之前的话语,对话中的情绪识别是不准确的,因此许多研究反映对话上下文以改善表现 ...
对话中的情绪识别(ERC)因其巨大的实际应用潜力而在自然语言处理领域引起了广泛的关注。由于上下文建模不足、对话关系捕捉不明确以及说话者建模过度拟合,现有的 ERC 方法在实现对不同场景的泛化方面面临挑战。在这项工作中,我们提出了一种混合连续归因网络(HCAN),从情感延续和情感归因的角度解决这些问题 ...
对话中的情绪识别(ERC)对于开发具有边界的前景的共情机器。对于多模态ERC,理解上下文并融合对话中的模态信息至关重要。最近的基于图的融合方法通常通过探索来解决的单模态和跨模态交互来聚合多模态信息... ...
多模态情感识别旨在识别多种模态的每种话语的情感,因其在人机交互中的应用而受到越来越多的关注。当前基于图的方法无法同时描述对话中的全局上下文特征和局部多样化的单模态特征。此外,随着图层数的增加,它们很容易陷入过度平滑 ...
在6G时代,智能交通系统、数字孪生、远程监控等令人瞩目的愿景将成为一种无处不在的实践。大量的数据量和频繁的更新给无线网络带来了挑战。为了解决这个问题,我们提出了一种基于强化学习的新颖的代理驱动的生成语义通信(A-GSC)框架 ...
车联网(IoV)有望成为为联网车辆和用户提供先进服务的中央基础设施,以提高交通效率和安全性。各种新兴应用/服务带来了车联网和路边单元(RSU)之间移动数据流量爆炸式增长的需求,给车联网带来了频谱稀缺的重大挑战。在本文中,我们提出了一种协作语义感知架构,将基本语义从协作用户传递到服务器,以降低数据流量 ...