打赏本站
支付宝
知识图谱 (KG) 在推进各种人工智能应用方面发挥着关键作用，语义网络社区对多模态维度的探索开启了新的创新途径。在本次调查中，我们仔细回顾了 300 多篇文章，重点关注两个主要方面的知识图谱感知研究：知识图谱驱动的多模态（KG4MM）学习，其中知识图谱支持多模态任务，以及多模态知识图谱（MM4KG） ，它将 KG 研究扩展到 MMKG 领域。我们首先定义 KG 和 MMKG，然后探讨它们的构建进度 ...
视觉和语言多模态预训练和微调在视觉问答（VQA）方面取得了巨大成功。与一般领域 VQA 相比，生物医学 VQA 的性能受到数据有限的影响。在本文中，我们提出了一种用于生物医学 VQA 的检索增强预训练和微调范例 RAMM，以克服数据限制问题 ...
面对不确定性，寻求信息的能力至关重要。在许多实际应用中，例如医疗诊断和故障排除，解决任务所需的信息最初并不是给出的，而是必须通过提出后续问题来主动寻求（例如，医生向患者询问有关其病情的更多详细信息）症状）。在这项工作中，我们介绍了思想的不确定性（UoT），这是一种增强大型语言模型的算法，使其能够通过提出有效的问题来主动寻找信息 ...
自然语言理解 (NLU) 和生成 (NLG) 领域令人兴奋的前沿领域需要能够有效访问外部结构化知识存储库的（视觉和）语言模型。然而，许多现有的知识库仅涵盖有限的领域，或者受到噪声数据的影响，而且最重要的是通常很难集成到神经语言管道中。为了填补这一空白，我们发布了 VisualSem：一个高质量的知识图谱（KG），其中包括具有多语言注释、多个说明性图像和视觉相关关系的节点 ...
我们提出了一种方法，通过将知识存储在外部知识图（KG）中并使用密集索引从该 KG 中检索，使自然语言理解模型的参数效率更高。给定（可能是多语言的）下游任务数据，例如 ...
模型算法的进步、可扩展的基础模型架构以及充足的高质量数据集的可用性促进了人工智能生成内容（AIGC）的发展。尽管 AIGC 取得了令人瞩目的表现，但它仍然面临着挑战，例如难以维护最新的长尾知识、数据泄露的风险以及与训练和推理相关的高成本。检索增强生成（RAG）最近成为解决此类挑战的范例 ...
知识图谱多跳问答（KGQA）旨在在大规模知识图谱（KG）上找到距离自然语言问题中提到的主题实体多跳的答案实体。为了应对巨大的搜索空间，现有的工作通常采用两阶段的方法：首先检索与问题相关的相对较小的子图，然后对子图进行推理以准确地找到答案实体。尽管这两个阶段高度相关，但以前的工作采用了截然不同的技术解决方案来开发检索和推理模型，忽略了它们在任务本质上的相关性 ...
开放域问答中的问题通常是模棱两可的，允许多种解释。处理这些问题的一种方法是识别歧义问题 (AQ) 的所有可能解释，并生成解决所有这些问题的长式答案，如 Stelmakh 等人 (2022) 所建议的那样 ...
知识图问答（KGQA）方法寻求使用知识图（KG）中存储的关系信息来回答自然语言问题。随着大型语言模型 (LLM) 的最新进展及其卓越的推理能力，利用它们进行 KGQA 的趋势越来越明显。然而，现有的方法仅侧重于回答事实问题，例如 ...
大型语言模型（LLM）的“预训练、提示、预测”范式在开放域问答（OD-QA）方面取得了显着的成功。然而，很少有作品在多文档问答（MD-QA）场景中探索这种范式，这项任务需要彻底理解不同文档的内容和结构之间的逻辑关联。为了填补这一关键空白，我们提出了一种知识图提示（KGP）方法来制定正确的上下文来提示 LLM 进行MD-QA，该方法由图构建模块和图遍历模块组成 ...