arxiv Knowledge Graph Structure as Prompt: Improving Small Language Models Capabilities for Knowledge-based Causal Discovery

Star 0
阅 读
/documents/68979/

基本信息

文件基本信息

名称
Knowledge Graph Structure as Prompt: Improving Small Language Models Capabilities for Knowledge-based Causal Discovery
首页
https://yiyibooks.cn/arxiv/2407.18752v3/index.html
原始地址
https://arxiv.org/pdf/2407.18752
描述
因果发现旨在根据观测数据估计变量之间的因果结构。大型语言模型 (LLM) 通过推理与变量相关的元数据而不是其实际数据值，提供了解决因果发现问题的新视角，这种方法称为基于知识的因果发现。在本文中，我们研究了小语言模型（SLM，定义为参数少于 10 亿个 LLM）的能力，以及基于知识的因果发现的基于提示的学习。具体来说，我们提出了 KG Structure as Prompt，这是一种将知识图谱中的结构信息（例如公共邻居节点和元路径）集成到基于提示的学习中以增强 SLM 功能的新颖方法。在少量样本设置下对三种类型的生物医学和开放域数据集的实验结果证明了我们的方法的有效性，超越了大多数基线，甚至超越了在完整数据集上训练的传统微调方法。我们的研究结果进一步凸显了 SLM 的强大功能：结合知识图和基于提示的学习，SLM 展示了超越具有更多参数的 LLM 的潜力。我们的代码和数据集可在 GitHub 上获取 ...