我们提出了一个开源且可扩展的知识提取工具包 DeepKE，支持知识库群体中复杂的低资源、文档级和多模式场景。 DeepKE实现了各种信息抽取任务，包括命名实体识别、关系抽取和属性抽取。通过统一的框架，DeepKE允许开发人员和研究人员定制数据集和模型，以便根据自己的需求从非结构化数据中提取信息 ...
多模态关系抽取是知识图谱构建的一项重要任务。在本文中，我们进行了深入的实证分析，表明视觉场景图中不准确的信息会导致模态对齐权重不佳，从而进一步降低性能。此外，视觉洗牌实验表明，当前的方法可能没有充分利用视觉信息 ...
大型语言模型（LLM）和检索增强生成（RAG）系统取得了进步，但它们的作用经常因多样性与社区关系结构的集成而受到阻碍，从而限制了它们事实上为提供了上下文丰富和准确检查。我们引入了CommunityKG-RAG（社区知识图搜索增强生成），这是一种新颖的零样本框架，将知识图（KG）内部的社区结构与RAG系统集成在一起CommunityKG-RAG 能够在消耗额外训练的情况下适应新的领域和查询，利用 KG 内社区结构的多跳性质来显着着信息检索的准确性和相关性提高 ... ...
多模态预训练的进步凸显了强大的多模态知识图（MMKG）表示学习框架的必要性。该框架对于将结构化知识大规模集成到多模态大语言模型（LLM）中至关重要，旨在缓解知识误解和多模态幻觉等问题。在这项工作中，为了评估模型在 MMKG 中准确嵌入实体的能力，我们重点关注两个广泛研究的任务：多模态知识图完成（MKGC）和多模态实体对齐（MMEA） ...
大型语言模型 (LLM) 在许多不同的自然语言处理 (NLP) 任务中表现出了卓越的性能。快速工程在增加 LLM 现有能力以实现各种 NLP 任务的显着性能提升方面发挥着关键作用。即时工程需要编写称为提示的自然语言指令，以结构化的方式从 LLM 中获取知识 ...
GPT4o 和 Gemini Flash 等多模态模型在推理和总结任务方面表现出色，其性能接近人类水平。然而，我们发现，当被要求执行非常具体的“阅读和估计”任务时，特别是在商业平台中的可视化图表的背景下，这些模型的表现低于人类。本文评估了 GPT 4o 和 Gemini Flash-1 的准确性 ...
对于当前的模型来说，回答需要阅读图像中的文本的问题具有挑战性。这项任务的一个关键困难是图像中经常出现罕见的、多义的和歧义的单词，例如 ...
结构身份是一种对称概念，根据网络结构及其与其他节点的关系来识别网络节点。过去几十年来，人们在理论和实践中对结构同一性进行了研究，但直到最近才用表征学习技术来解决它。这项工作提出了 struc2vec，一种新颖且灵活的框架，用于学习节点结构身份的潜在表示 ...
几何深度学习最近引起了包括文档分析在内的广泛机器学习领域的极大兴趣。图神经网络（GNN）的应用在各种与文档相关的任务中变得至关重要，因为它们可以揭示重要的结构模式，这是关键信息提取过程的基础。先前的文献工作提出了任务驱动模型，但没有考虑到图的全部功能 ...
视觉信息提取（VIE）在文档智能中发挥着重要作用。一般来说，它分为两个任务：语义实体识别（SER）和关系提取（RE）。最近，文档预训练模型在VIE，特别是SER方面取得了实质性进展 ...