在本文中，我们提出了 KnowCoder，一种大型语言模型（LLM），通过代码生成进行通用信息提取（UIE）。 KnowCoder旨在开发一种LLM易于理解的统一模式表示，以及鼓励LLM遵循模式并准确提取结构化知识的有效学习框架。为了实现这些，KnowCoder引入了一种代码式的模式表示方法，将不同的模式统一转换为Python类，通过这种方法，可以以LLM友好的方式捕获复杂的模式信息，例如UIE中任务之间的约束 ...
训练常识模型的常见做法已经从人类到语料库再到机器：人类编写常识知识图来训练常识模型。在这项工作中，我们研究了一种替代方案，从机器到语料库到机器：通用语言模型编写这些常识知识图来训练常识模型。我们的研究提出了一个新的框架：符号知识蒸馏 ...
超过一定规模的大型语言模型（LM）展示了通过思想链（CoT）提示为其预测生成自由文本基本原理的新兴能力。虽然 CoT 可以显着提高性能，但只有足够大的 LM 才能观察到这种增益。更令人担忧的是，几乎无法保证生成的理由与 LM 的预测一致或忠实地证明决策的合理性 ...
在本文中，我们利用低级编译器中间表示（IR）来改进代码翻译。传统的转译器依赖于句法信息和手工规则，这限制了它们的适用性并产生看起来不自然的代码。将神经机器翻译 (NMT) 方法应用于代码已成功拓宽了程序集，人们可以在其上获得自然的翻译 ...
软件版本迁移和程序翻译是大型代码库生命周期中重要且成本高昂的部分。传统的机器翻译依赖于并行语料库进行监督翻译，由于缺乏对齐的数据，这对于程序翻译来说是不可行的。最近的无监督神经机器翻译技术通过反向翻译和低级编译器中间表示（IR）等技术克服了数据限制 ...
使用自然语言指令进行提示最近已成为利用大型语言模型功能的流行方法。考虑到自然语言中存在固有的歧义性，直观地考虑使用不太歧义的提示样式进行提示的可能优点，例如使用伪代码。在本文中，我们探讨通过伪代码指令进行提示是否有助于提高预训练语言模型的性能 ...
代码翻译工具（转译器）是为自动源到源翻译而开发的。尽管基于学习的转译器相对于基于规则的转译器表现出了令人印象深刻的增强，因为它们在广泛的单语语料库上进行了针对特定任务的预训练。它们目前的性能对于实际部署来说仍然不能令人满意，并且相关的培训资源也非常昂贵 ...
随着大型语言模型 (LLM) 的部署承担越来越多的现实责任，因此能够以可靠的方式指定和约束这些系统的行为非常重要。模型开发人员可能希望为模型设置明确的规则，例如“不生成滥用内容”，但这些规则可能会通过越狱技术来规避。现有的对 LLM 的对抗性攻击和防御的评估通常需要昂贵的人工审查或不可靠的启发式检查 ...
软件开发生命周期深受错误的影响：错误的引入、识别和最终解决占软件成本的很大一部分。这促使软件工程研究人员和从业者提出不同的方法来自动识别和修复软件缺陷。通过少量演示学习和指令提示，大型语言模型已经适应了程序修复任务，将其视为一项填充任务 ...
自动程序修复（APR）对于减少开发人员的手动调试工作并提高软件可靠性至关重要。虽然传统的基于搜索的技术通常依赖于启发式规则或冗余假设来挖掘修复模式，但近年来，基于深度学习 (DL) 的方法的激增，以数据驱动的方式自动化程序修复过程。然而，它们的性能通常受到一组固定参数的限制，无法对 APR 的高度复杂搜索空间进行建模 ...