联合对话情感分类（DSC）和行为识别（DAR）的任务旨在同时预测对话中每个话语的情感标签和行为标签。在本文中，我们提出了一个新的框架，通过集成 \textit{预测级交互}而不是语义级交互来建模显式依赖关系，更符合人类直觉。此外，我们提出了说话者感知时间图（SATG）和双任务关系时间图（DRTG），将 \textit{时间关系} 引入对话理解和双任务推理中 ...
本文研究了车联网（IoV）上基于语义的高效图像传输问题。在所考虑的模型中，车辆共享其视觉传感器感知的大量视觉数据，以协助其他车辆做出驾驶决策。然而，由于频谱资源有限，很难维持高可靠的视觉数据传输 ...
对话中的情绪识别（ERC）近年来因其广泛应用的必要性而备受关注。现有的 ERC 方法大多分别对自身和说话者之间的上下文进行建模，这造成了它们之间缺乏足够交互的主要问题。在本文中，我们提出了一种新颖的 ERC 说话者和位置感知图神经网络模型（S+PAGE），它包含三个阶段，结合了 Transformer 和关系图卷积网络（R-GCN）的优点，以实现更好的上下文建模 ...
同理心是一种基于他人情感状态推理的复杂认知能力。为了更好地理解他人并在对话中表达更强的同理心，我们认为必须同时解决两个问题：（i）从对方的话语中识别出哪个词是引起对方情绪的原因；（ii）反映这些词响应生成中的特定单词。然而，以前识别文本中情感原因单词的方法需要子话语级别的注释，这可能要求很高 ...
包括文本、音频、图像和视频在内的多模态信号可以集成到语义通信（SC）中，以在语义层面提供低延迟和高质量的沉浸式体验。然而，多模态 SC 面临着一些挑战，包括数据异构性、语义模糊性和信号衰落。大型人工智能模型的最新进展，特别是多模态语言模型（MLM）和大型语言模型（LLM），为这些问题提供了潜在的解决方案 ...
语义通信作为下一代通信系统中替代传统通信的一种有前景的技术，受到了研究人员的极大关注，这主要是因为它能够降低通信成本。然而，很少有文献研究其在多用户场景中的有效性，特别是当用户使用的模型架构及其计算能力存在变化时。为了解决这个问题，我们探索了一种语义通信系统，通过在基站（BS）使用多功能发射器来满足具有不同模型架构的多个用户的需求 ...
对话中的情绪识别（ERC）是一个重要且活跃的研究领域。最近的工作表明了使用多种方式的好处（例如 ...
物联网的蓬勃发展使其计算和存储能力可以扩展到云边协同的航空系统计算任务，特别是基于深度学习（DL）的人工智能（AI）任务。无人机在采集大量图像/视频数据时，由于存储和计算能力有限，只能将智能分析任务交给后端移动边缘计算（MEC）服务器。如何有效地为AI模型传输最相关的信息是一个具有挑战性的课题 ...
视频会议已成为一种流行的会议模式，尽管它消耗大量的通信资源。传统的视频压缩在有限的带宽下会导致分辨率降低。语义视频会议通过传输一些关键点来表示运动来保持高分辨率，因为背景几乎是静态的，并且发言者不会经常改变 ...
我们推出 DeepWiVe，这是第一个端到端联合源通道编码 (JSCC) 视频传输方案，它利用深度神经网络 (DNN) 的强大功能，将视频信号直接映射到通道符号，结合了视频压缩、通道编码，调制步骤进入单个神经变换。我们的 DNN 解码器在没有失真反馈的情况下预测残差，从而通过考虑遮挡/去遮挡和摄像机移动来提高视频质量。我们同时为帧训练不同的带宽分配网络，以允许可变带宽传输 ...