arxiv Multimodal Reasoning with Multimodal Knowledge Graph

名称
Multimodal Reasoning with Multimodal Knowledge Graph
首页
https://yiyibooks.cn/arxiv/2406.02030v2/index.html
原始地址
https://arxiv.org/pdf/2406.02030v1
描述
使用大型语言模型(llm)的多模态推理经常会出现幻觉,llm中存在缺陷或过时的知识。一些方法试图通过采用文本知识图来缓解这些问题,但它们单一的知识模态限制了全面的跨模态理解。在本文中,mr-mkg)方法,该方法利用多模态知识图谱(mmkg(mmkg),来学习跨模态的丰富语义知识,显着增强了llm的多模态推理能力... ...