通过个性化在对话代理中增强用户参与已获得重要意义,尤其是随着大型语言模型的出现,产生流利的响应。但是,个性化的对话生成是多方面的,其定义各不相同 - 从在代理中灌输角色到捕获用户的明确和隐性提示。本文旨在系统地调查个性化对话生成的最新景观,包括所采用的数据集,开发的方法和应用评估指标 ...
建立可以快速适应新环境的通才代理商是在数字和现实世界中部署AI的关键挑战。扩展当前代理体系结构是建造通才代理的最有效方法吗?我们提出了一种新颖的方法,可以在相对较小的数据集上预先培训相对较小的策略,并通过内在的学习将其调整为看不见的环境,而无需进行任何填充。我们的关键想法是,检索为快速适应提供了强大的偏见 ...
大型语言模型(LLMS)在各种NLP任务中实现最先进的性能,但由于高计算成本和内存限制,面临部署挑战。知识蒸馏(KD)是一个有前途的解决方案,将知识从大型教师模型转移到较小的学生模型。但是,现有的KD方法通常假设共享的词汇和象征器,从而限制了它们的灵活性 ...
尽管知识图(kgs)在各种任务(例如回答和智能对话系统)中广泛应用,但现有的KG面临两个主要挑战:信息粒度和及时性的缺乏。这些很大程度上妨碍了从KGS中的中文,细粒度和最新知识的检索和分析,尤其是在高度专业的主题中(例如, ...
除了以实体为中心的知识(通常为知识图(kg))之外,事件也是世界上必不可少的知识,它触发了以事件为中心的知识表示形式(如事件kg(EKG))的春季。它在许多下游应用程序中起着越来越重要的作用,例如搜索,提问,建议,财务定量投资和文本生成。本文对历史,本体论,实例和应用程序视图中的心电图进行了全面的调查 ...
现有的大型语言模型(LLM)研究表明,它们可以通过多步骤规划来解决信息提取任务。然而,它们对复杂句子和任务的提取行为不稳定,出现了误报和缺失元素等问题。我们观察到,分解复杂的提取任务并逐步提取可以有效提高LLM的性能,并且实体的提取顺序显着影响LLM的最终结果 ...
通用关系提取器可以对任意关系进行建模,是信息提取的核心愿望。人们已经努力构建通用提取器,以表示与其表面形式的关系,或者将表面形式与现有知识图谱中的关系联合嵌入。然而,这两种方法的泛化能力都受到限制 ...
脚本学习研究刻板事件如何展开,使机器能够用隐含信息推理叙述。以前的作品大多将脚本视为事件的线性序列,而忽略了由于人们的环境选择而出现的潜在分支。因此,我们提出了 Choice-75,这是第一个挑战智能系统在给定描述性场景下做出决策的基准,包含 75 个脚本和 600 多个场景 ...
大型语言模型(LLM)在自然语言理解任务方面取得了相当大的进步,但在实现真正的通用人工智能之前仍然存在差距,特别是在数学推理能力方面的缺陷。我们假设 LLM 训练的本质是预测下一个 Token 的概率,这在有效建模数学推理方面提出了挑战,无论是从数据驱动的角度还是从理论的角度来看,都需要精确的计算。在本文中,我们通过丰富数据景观并引入新颖的数学数据集来应对这一挑战,并通过利用 Python 代码解释器的功能进行增强 ...
我们研究大规模知识图(KG)中学习推理的问题。更具体地说,我们描述了一种用于学习多跳关系路径的新型强化学习框架:我们使用基于知识图嵌入的具有连续状态的基于策略的代理,它通过采样最有希望的关系来扩展其在 KG 向量空间中的推理。小路。与之前的工作相比,我们的方法包括考虑准确性、多样性和效率的奖励函数 ...