现代通信通常设计为在传输消息时追求更高的比特级精度和更少的比特数。本文重新思考了这两个主要特征,并介绍了语义的概念和优点,它描述了一种新型语义感知通信框架,结合了语义编码和语义通信问题。在分析了现有语义感知技术的根本缺陷后,我们针对联合语义噪声编码(JSNC)问题建立了一种基于置信度的蒸馏机制,并建立了一种强化学习(RL)驱动的语义通信范式,赋予系统以下能力:传达语义而不是追求位级精度 ...
对话中的情绪识别(ERC)是自然语言处理和情感计算中的一项关键任务。本文提出了 MultiDAG+CL,这是一种对话中多模态情感识别(ERC)的新方法,它采用有向无环图(DAG)将文本、声音和视觉特征集成在统一的框架内。该模型通过课程学习(CL)得到增强,以解决与情绪变化和数据不平衡相关的挑战 ...
近年来,语义通信已广泛应用于无线图像传输系统,因为它可以优先考虑图像中有意义的语义信息的保存而不是传输符号的准确性,从而提高通信效率。然而,现有的语义通信方法在图像识别等下游人工智能任务中实现相当大的推理性能,或在接收器处平衡推理性能与重建图像的质量方面仍然面临局限性。因此,本文提出了一种基于对比学习(CL)的语义通信方法来克服这些局限性 ...
虽然深度生成模型在计算机和自然语言处理方面显示出令人兴奋的能力,但它们在通信框架中的采用仍然被令人惊讶地低估。这些方法被证明可以改进经典通信问题的解决方案,例如去噪声视觉这样,生成的模型可以揭示它们虽然在语义通信框架中的真正潜力,其中接收者不需要恢复用于编码传输的(语义)消息的比特序列,而只是在语义上与传输重新生成的消息一致的内容... ...
考虑到在噪声信道上多用户传输图像的联合源通道编码(JSCC)问题,本文提出了一种基于自动编码器的新型深度联合源通道编码方案。在所提出的 JSCC 方案中,解码器可以估计信噪比(SNR)并使用它来自适应地解码传输的图像。实验表明,所提出的方案在不同信噪比的适应性方面取得了令人印象深刻的结果,并且对解码器的信噪比估计误差具有鲁棒性 ...
第六代(6G)无线系统有望实现从“物联”到“智联”的范式转变,其特点是超高密度、大规模、动态色彩、多样化的功能需求和机器学习能力,从而导致高效智能算法的需求不断增长。经典的基于优化的算法通常需要引用的数据链路数学模型,在实际的6G应用中性能较差,计算成本更高。基于领域知识(例如... ...
语义通信(SemCom)有望在实现通信目标的同时减少网络资源消耗。然而,联合训练语义编码器和解码器的计算开销以及后续在网络设备中的部署却被忽视了。生成人工智能(GAI)的最新进展提供了一个潜在的解决方案...... ...
通过有效交换数据背后的语义,深度学习支持的语义通信已显示出显着提高传输效率和缓解频谱稀缺的巨大潜力。最近,拥有数十亿参数的大型模型的出现,展现了非凡的类人智能,通过增强语义理解和上下文理解,为推进语义通信提供了一条有前途的途径。本文系统地研究了大型模型驱动的语义通信系统,从潜在应用到系统设计 ...
最近,以chatGPT为代表的大型人工智能模型(BAIM)带来了一场令人难以置信的革命。通过在某些领域预先训练的 BAIM,只需少量甚至零样本学习即可完成大量下游任务,并展现出最先进的性能。人们普遍认为,人工智能大模型将快速渗透到主要智能服务和应用中,并能够以较低的单位成本和较高的灵活性运行 ...
语义通信(SC)是 6G 中数据传输的一种新颖范式。然而,在 3D 场景中执行 SC 时存在几个挑战:1)3D 语义提取; 2)潜在语义冗余; 3) 不确定的信道估计。为了解决这些问题,我们提出了生成式 AI 模型辅助 3D SC (GAM-3DSC) 系统 ...