随着将事实知识纳入预训练语言模型（例如 BERT）的新兴分支，大多数现有模型都考虑浅层、静态和单独预训练的实体嵌入，这限制了这些模型的性能提升。很少有作品探索注入知识时深度情境化知识表示的潜力。在本文中，我们提出了语境化语言和知识嵌入（CoLAKE），它通过扩展的 MLM 目标联合学习语言和知识的语境化表示 ...
许多现实世界中无处不在的应用程序，例如停车建议和空气污染监测，都从准确的长期时空预测（LSTF）中受益匪浅。 LSTF 利用时空域、上下文信息和数据固有模式之间的长期依赖性。最近的研究揭示了多图神经网络（MGNN）在提高预测性能方面的潜力 ...
语言模型越来越多地被用于解决各种任务中的一般问题，但在推理过程中仍然仅限于 Token 级、从左到右的决策过程。这意味着他们可能无法完成需要探索、战略的任务为了克服这些挑战，我们引入了一种新的语言模型推理框架——思想树（ToT），它实现了流行的思想链方法来提示语言模型，并能够探索作为文本（思想）的连贯单元。解决问题的中间步骤 ... ...
随着语言模型 (LM) 在 NLP 任务中的广泛使用，研究人员发现了思想链 (CoT) 通过生成中间步骤来协助 LM 完成复杂推理任务的潜力。然而，人类的思维过程通常是非线性的，而不是简单的连续的思维链。因此，我们提出思维图（GoT）推理，它将人类思维过程不仅建模为链，而且建模为图 ...
大型语言模型（LLM）在自然语言理解和生成任务中取得了显着的性能。然而，他们常常受到限制，例如难以吸收新知识、产生幻觉以及解释其推理过程。为了应对这些挑战，我们提出了一种新颖的提示管道，名为“方法”，它利用知识图（KG）来增强 LLM 的推理和透明度 ...
本文提出了一种学术知识图问答（KGQA），它通过利用大型语言模型（LLM）以少量的方式回答书目自然语言问题。该模型最初通过基于 BERT 的句子编码器识别与给定测试问题相关的前 n 个相似训练问题，并检索其相应的 SPARQL。以前 n 个相似问题-SPARQL 对为例，测试问题会创建一个提示 ...
API推荐方法已经从字面和语义关键字匹配发展到查询扩展和查询澄清。最新的查询澄清方法是基于知识图（KG）的，但其局限性包括词汇外（OOV）故障和严格的问题模板。为了解决这些限制，我们提出了一种新颖的知识引导查询澄清方法来进行 API 推荐，该方法利用 KG 引导的大型语言模型 (LLM) ...
测量知识图（KG）和大型语言模型（LLM）之间的一致性是评估事实性和识别 LLM 知识盲点的有效方法。然而，这种方法遇到了两个主要挑战，包括将知识图谱翻译成自然语言以及对这些广泛而复杂的结构进行有效评估。在本文中，我们提出了 KGLens——一种新颖的框架，旨在衡量 KG 和 LLM 之间的一致性，并查明 LLM 相对于 KG 的知识缺陷 ...
尽管大型语言模型（LLM）在知识密集型任务上表现出色，但在记忆所有世界知识尤其是长尾知识方面仍然存在局限性。在论文中，我们研究了KG增强语言模型方法，用于解决需要丰富的世界知识的知识图问答（KGQA）任务。现有的工作表明，检索KG知识来增强LLM提高的提示可以显着着LLM在KGQA中的表现... ...
向用户准确推荐候选新闻文章是个性化新闻推荐系统面临的基本挑战。传统方法通常难以把握新闻文本中复杂的语义信息，导致推荐结果不理想。此外，这些传统方法对于历史行为丰富的活跃用户更加友好 ...