使用大型语言模型 (LLM) 的多模态推理经常会出现幻觉，并且 LLM 中存在缺陷或过时的知识。一些方法试图通过采用文本知识图来缓解这些问题，但它们单一的知识模态限制了全面的跨模态理解。在本文中，我们提出了多模态知识图谱的多模态推理（MR-MKG）方法，该方法利用多模态知识图谱（MMKG）来学习跨模态的丰富语义知识，显着增强了 LLM 的多模态推理能力 ...