Time Sensitive Knowledge Editing through Efficient Finetuning

大型语言模型 (LLM) 在不同的任务中展示了令人印象深刻的能力，并为许多领域带来了革命性的变化。然而，一旦预培训完成，保持 LLM 知识的最新状态仍然是一个挑战。因此，有必要设计有效的方法来更新过时的知识并将新知识引入 LLM ...

CANDLE: Iterative Conceptualization and Instantiation Distillation from Large Language Models for Commonsense Reasoning

概念化和实例化的顺序过程对于可概括的常识推理至关重要，因为它允许将现有知识应用于不熟悉的场景。然而，现有的工作往往低估实例化的步骤，严重依赖预先构建的概念分类和人工注释来收集这两类知识，导致缺乏实例化的知识来完成推理、成本高昂且可扩展性有限。为了应对这些挑战，我们引入了 CANDLE，这是一个蒸馏框架，通过指示大型语言模型通过批评者过滤生成两种类型的知识，迭代地对常识知识库执行上下文化概念化和实例化 ...