基本信息

使用大型语言模型 (LLM) 的多模态推理经常会出现幻觉，并且 LLM 中存在缺陷或过时的知识。一些方法试图通过采用文本知识图来缓解这些问题，但它们单一的知识模态限制了全面的跨模态理解。在本文中，我们提出了多模态知识图谱的多模态推理（MR-MKG）方法，该方法利用多模态知识图谱（MMKG）来学习跨模态的丰富语义知识，显着增强了 LLM 的多模态推理能力。特别是，利用关系图注意网络对 MMKG 进行编码，并设计跨模态对齐模块来优化图像文本对齐。构建基于 MMKG 的数据集，旨在通过预训练为 LLM 提供多模式推理方面的初步专业知识。值得注意的是，MR-MKG 在仅使用一小部分参数（大约是 LLM 参数大小的 2.25%）进行训练时就实现了卓越的性能。多模态问答和多模态类比推理任务的实验结果表明，我们的 MR-MKG 方法优于以前最先进的模型 ...