基本信息

图像融合旨在组合来自不同源图像的信息以创建具有全面代表性的图像。现有的融合方法通常无法应对低质量源图像的退化，并且无法满足多种主观和客观需求。为了解决这些问题，我们引入了一种新颖的方法，该方法利用语义文本引导图像融合模型来执行退化感知和交互式图像融合任务，称为 Text-IF。它创新地将经典图像融合扩展到文本引导图像融合，并能够协调解决融合过程中的退化和交互问题。通过文本语义编码器和语义交互融合解码器，Text-IF可以实现一体化的红外和可见光图像劣化感知处理和交互式灵活的融合结果。这样，Text-IF不仅实现了多模态图像融合，还实现了多模态信息融合。大量实验证明，我们提出的文本引导图像融合策略在图像融合性能和退化处理方面比SOTA方法具有明显的优势。该代码可从此 https URL 获取 ...