虽然像 ChatGPT 这样的大型语言模型（LLM）在自然语言处理（NLP）任务中表现出了令人印象深刻的能力，但在该领域潜力的系统研究在极大程度上得到了探索。本研究旨在通过探讨以下问题来弥补这一差距：（1）目前文献中LLM评估NLP任务如何？（2）传统的NLP任务是否已被LLM解决？（3）NLP LLM的前景如何？回答这些问题，我们首先对NLP领域的LLM进行全面。具体来说，我们首先引入一个统一的分类法，包括（1）参数冻结应用程序和（2）参数调整概述应用程序，以理解LLM在NLP中的应用当前领域进展提供统一的视角... ...
由于大量的实际应用，图学习在学习界引起了极大的关注。特别是，以数值节点特征和图结构作为输入的图神经网络（GNN）已被证明可以在各种与图相关的学习任务中最近通过自监督学习探索评分节点特征和图结构之间的相关性的工作为进一步提高GNN的性能铺平了道路... ...
利用基于文本的节点属性的节点分类具有许多实际应用，从学术引文图中论文主题的预测到社交媒体网络中用户特征的分类。最先进的节点分类框架（例如 GIANT）使用两阶段管道：首先嵌入图节点的文本属性，然后将所得嵌入输入节点分类模型。在本文中，我们消除了这两个阶段，并开发了一种基于 GIANT 的端到端节点分类模型，称为端到端 GIANT (E2EG) ...
图表示学习（GRL）方法，例如图神经网络和图变换模型，已成功用于分析图结构数据，主要集中在节点分类和链路预测任务。然而，现有的研究大多只考虑局部连接性，而忽略了远程连接性和节点的作用。在本文中，我们提出了统一图变换网络（UGT），它将局部和全局结构信息有效地集成到固定长度的向量表示中 ...
当前的大型语言模型（LLM）是否可以通过参数更新更好地解决图形推理和生成任务？在本文中，我们提出了InstructGraph，这是一个框架，通过指令调整和偏好调整，赋予LLM图形推理和生成任务具体来说，我们首先提出一种格式化格式语言器，将所有图数据统一为通用的类似代码的格式，它可以简单地表示图，而填充任何外部特定于图的编码器。 ，还引入了图形指令调整阶段来指导LLM解决图形推理和生成任务... ...
知识图大规模表示复杂关系的能力使其能够满足各种需求，包括知识表示、问答和推荐系统。知识图谱所表示的信息通常是不完整的，因此需要知识图谱补全任务。预训练和微调的语言模型在这些任务中显示出了前景，尽管这些模型忽略了知识图中编码的内在信息，即实体和关系类型 ...
现有的开放域问答（QA）模型不适合实时使用，因为它们需要针对每个输入查询按需处理多个长文档。在本文中，我们介绍了与查询无关的文档短语可索引表示，它可以大大加快开放域 QA 的速度，并允许我们达到长尾目标。特别是，我们的密集稀疏短语编码有效地捕获了短语的句法、语义和词汇信息，并消除了上下文文档的管道过滤 ...
微调数据的质量对于使大型语言模型 (LLM) 与人类价值观保持一致至关重要。目前提高数据质量的方法要么是劳动密集型的，要么容易出现由 LLM 幻觉引起的事实错误。本文探讨了如何提高现有教学数据的质量，以更好地符合人类价值观，引入了一种名为 ReAlign 的简单有效的方法，该方法将教学数据的响应重新格式化为更符合预先制定的标准和整理证据的格式 ...
指令微调（IFT）是构建大型语言模型（LLM）的关键阶段。之前的工作主要集中于 IFT 在行为规范迁移和额外世界知识学习中的作用。然而，对 IFT 潜在机制的理解仍然非常有限 ...