LawGPT：中国法律知识增强的大语言模型

摘要

大型语言模型（大语言模型），包括专有模型和开源模型，在解决各种下游任务方面表现出了卓越的能力。 然而，当涉及到中国的实际法律任务时，这些模式并不能满足实际要求。 专有模型无法确保敏感法律案件的数据隐私，而开源模型由于缺乏法律知识而表现不佳。 为了解决这个问题，我们推出了LawGPT，这是第一个专为中国法律应用设计的开源模型。 LawGPT由两个关键部分组成：面向法律的预训练和法律监督的微调。 具体来说，我们采用大规模的中国法律文献进行面向法律的预训练，融入法律领域知识。 为了进一步提高模型在下游法律任务上的性能，我们创建了一个知识驱动的指令数据集，用于法律监督微调。 我们的实验结果表明 LawGPT 优于开源 LLaMA 7B 模型。 我们的代码和资源在 https://github.com/pengxiao-song/LaWGPT 上公开提供，并在 GitHub 上获得了 5700 颗星。

1简介

大语言模型（大语言模型）（OpenAI，2023b；Touvron 等人，2023b）在各种自然语言处理（NLP）任务中取得了显着的成功，包括自然语言理解（Dong 等）人，2019），推理（Huang and Chang，2023），以及生成（Yu 等人，2022）。 自研和开源大语言模型均表现出强大的泛化能力，使其能够应用于不同的下游场景，例如医药（Thirunavukarasu 等人，2023）、金融（Yang 等人，2023b） )、教育(Gan 等人, 2023)。 最近的研究(Fei 等人, 2023; Nguyen, 2023)证明了现有通用大语言模型在法律任务中的知识有效性，包括法律判决预测(Luo 等人, 2017) 、法律文献检索（陈等人，2013）、法律问答（钟等人，2020a）。

尽管大语言模型在法律应用中具有一定的知识有效性，但仍存在两个障碍阻碍其在法律任务中的实际使用。 一方面，专有的大语言模型如GPT-4 (OpenAI, 2023b)和GPT-3.5 Turbo (OpenAI, 2023a)只能通过API访问，这不能保证敏感法律案件中的数据隐私。 另一方面，像 LLaMA (Touvron 等人, 2023a) 和 ChatGLM (Du 等人, 2022) 这样的开源大语言模型由于以下原因未能取得令人满意的性能：法律知识不足，与下游法律任务不相适应。 因此，有必要开发一个专门为法律应用而设计的开源大语言模型，以克服现有的障碍。

在本文中，我们介绍了第一个开源的中文法律知识增强大语言模型LawGPT。 与专有模型相比，凭借开源的优势，LawGPT可以自行托管和私密访问，以确保数据隐私。 然后，我们提出了面向法律的预训练，利用我们的大规模法律预训练语料库，将特定领域的法律知识融入到LawGPT中，提高其对法律的理解、推理和生成基础能力。任务。 此外，我们提出法律监督微调，利用我们的知识驱动指令数据集进一步增强 LawGPT 在下游法律任务上的性能。 实验结果表明，LawGPT在重大法律任务中超越了开源LLaMA 7B模型，为中国实用法律大语言模型的发展提供了启示。

总而言之，我们的贡献可概括如下：

1. 我们提出第一个开源的中文法律知识增强大语言模型LawGPT。 代码和模型可在 GitHub 上获取 并已获得 5700 颗星。

2. 我们构建了一个全面的法律预训练语料库，并提出了一种以法律为导向的预训练方法，通过整合特定领域的知识来增强LawGPT在法律任务中的基础能力。

3. 我们创建了一个知识驱动的指令数据集，并利用法律监督微调来进一步使 LawGPT 适应各种法律任务并提高其下游性能。

4. 我们的实验结果表明，LawGPT在主要法律任务中比开源LLaMA 7B模型取得了更好的性能，为我们提出的模型的有效性提供了有力的证据。

2相关工作

在本节中，我们回顾了使用大语言模型解决法律任务的现有工作。 重点是通用语言模型、法律语言模型和法律基准，如下所示。

2.1 通用语言模型

受益于大规模语料库的训练，最近的大语言模型在包括法律任务在内的各种下游任务上都表现出了令人印象深刻的表现。 最近的大语言模型在广泛的语料库上进行了训练，在各种下游任务（包括法律领域的任务）中表现出了令人印象深刻的性能。 专有大语言模型，如GPT-4 (OpenAI, 2023b)、GPT-3.5-Turbo (OpenAI, 2023a)、PaLM (Chowdhery 等人、 2023)、PaLM2 (Anil 等人, 2023)，展现出强大的处理法律任务的能力。 它们令人印象深刻的表现不仅展示了大语言模型在解决法律任务方面的潜力，而且促进了高质量数据集的低成本、自动化构建。 同时开源大语言模型，如LLaMA (Touvron 等人, 2023a)、LLaMA2 (Touvron 等人, 2023b)、MPT (Team, 2023)、ChatGLM 2 (杜等人, 2022)、百川 2 (杨等人, 2023a) 提供多种模型比例。 这些开源模型有助于使用目标法律数据集对特定法律模型进行微调，从而有可能提高性能。

2.2 法律语言模型

法律语言模型是基于预先训练的语言模型进行微调，或者使用法律相关数据从头开始训练，以提高模型的法律能力。 该领域的早期研究利用具有数百万参数的模型架构来完成各种法律任务。 为了分别解决这些任务，我们付出了巨大的努力。 其中包括法律判决预测（罗等人，2017；Chalkidis等人，2019；杨等人，2019）、法律文献与案例检索（陈等人，2013；邵等人） , 2020; Li 等人, 2023)、法律阅读理解(Duan 等人, 2019)、法律问答(Zhong 等人, 2020a; Phi 等人, 2020）。 借助预训练模型（Chalkidis 等人，2020；Cui 等人，2021），Lawformer （Xiao 等人，2021）结合了三种注意力机制来解决法律文件过长、涵盖多种法律任务的问题。 大语言模型的最新进展催生了法律大语言模型工作。 韩飞 (何 等人, 2023)、LexiLaw (李 等人, 2023)、LawGPT-zh (洪城 等人, 2023), LawGPT-1.0 (Nguyen, 2023) 威胁基础大语言模型，使用专门构建或收集的法律语料库来增强法律能力。 针对法律任务中的幻觉问题，ChatLaw (Cui 等人, 2023a)、Wisdom-Interrogatory (Wu 等人, 2024)、Lawyer 等大语言模型-LLaMA (Huang 等人, 2023) 采用合法的数据检索方法来提高其响应的稳健性。 LawGiBa(Nguyen 等人, 2023)基于GPT-4模型，建立了法律体系。 夫子明查（邓等人，2023）创建了合法的三段论推理数据集进行微调，以确保逻辑格式和准确的推理结果。

2.3法律基准

随着用于法律任务的巨大语言模型的出现，人们提出了一些基准来评估各种现有模型。 LawBench（费等人，2023）收集了法律知识记忆、理解、运用三个认知层面的20个法律任务，全面评估现有模型的表现。 LAiW (戴等人, 2023)包含14个任务，从基础信息检索、法律基础推理、复杂法律应用三个层面评估大语言模型的法律能力。 SimuCourt（何等人，2024）引入了司法决策任务来评估大语言模型的司法分析和决策能力。

3方法论

在本节中，我们将介绍我们的LawGPT，这是一个专为中国法律应用而设计的大型语言模型，旨在有效解决各种下游法律任务。 LawGPT解决了将现有开源通用大语言模型应用于法律任务的两大挑战：

1. 开源通用大语言模型缺乏对有效执行法律任务至关重要的法律领域知识；

2. 开源通用大语言模型对下游法律任务训练不足，导致法律应用表现不佳。

我们将面向法律的预训练应用于LawGPT，将法律领域知识纳入开源基础模型中。 然后，我们进行法律监督微调，进一步提升LawGPT在下游法律任务上的表现。 每个组件详细说明如下。

3.1法律导向的预培训

通用大语言模型通常是在大规模通用语料库上进行预训练的，这可能缺乏足够的法律领域知识。 因此，这可能会导致对法律任务的理解和推理能力有限。 为了解决这个限制，我们建议集成L面向平等的P重新Training(LPT)进入LawGPT，旨在增强其法律领域知识。

为了将法律领域知识纳入LawGPT，我们收集了一个大规模的法律预训练语料库${𝒟}_{\text{LPT}}$，由来自各个法律领域的50万份法律文档组成，包括民法、刑法、和行政法。 示例 3 展示了来自法律预训练语料库的民法法律文档。 对于每个法律文档，基础模型的分词器将文本编码为词符序列$𝒙=(x_0,x_1,\mathrm{\dots })$，并以自回归的方式对基础模型$f_{\mathrm{\Theta }}(\cdot )$进行面向法律的预训练使用以下目标：

$${ℒ}_{\text{LPT}}(\mathrm{\Theta },{𝒟}_{\text{LPT}})={𝔼}_{𝒙\sim {𝒟}_{\text{LPT}}}\left[-\sum _i\log f_{\mathrm{\Theta }}(x_i|x_0,x_1,\mathrm{\dots },x_{i-1})\right]$$ (1)

其中$x_0,x_1,\mathrm{\dots },x_{i-1}$表示上下文标记，$x_i$表示目标词符，$\mathrm{\Theta }$是基础模型$f_{\mathrm{\Theta }}(\cdot )$的参数。 我们利用${ℒ}_{\text{LPT}}$对基础模型$\mathrm{\Theta }$的参数进行优化，得到面向法律的预训练模型${\mathrm{\Theta }}^{\text{LPT}}$的参数。

3.2法律监督的微调

尽管 $f_{{\mathrm{\Theta }}^{\text{LPT}}}(\cdot )$ 已经接受了法律领域知识的预训练，但对于特定的下游法律任务来说，它并不是最佳选择，因为它无法按照说明生成所需的响应。 为了解决这个问题，我们提出Legal-Supervised Fine-Tuning(LFT)来进一步适应LawGPT 到各种下游法律任务。 具体来说，我们构建了一个 300K 知识驱动指令数据集 ${𝒟}_{\text{LFT}}$，由三个子集组成：

1. 开源数据集拥有20万个样本，其中包括犯罪类型预测和犯罪咨询任务，以调整模型，以便更好地理解与犯罪相关的法律任务并生成用户友好的响应；

2. JEC-QA数据集(Zhong等人, 2020b)拥有20K样本，其中包含法律问答任务，以调整模型以更好地适应法律下游任务；

3. 通过ChatGPT提炼子集(a)和(b)，构建了8万个样本的法律数据集(OpenAI, 2023a)，增加了更多高质量的法律QA样本，从而增强了模型的泛化性。

子集(a)和(b)分别如示例3和3所示。 The subset (c) is reinfed using the prompt template in Template 3 to augment the samples in subsets (a) and (b), where we replace <instruction> with real questions and <output> with the corresponding answer. 我们在模板 3 中采用斯坦福羊驼模板 (Taori 等人, 2023) 将指令和输出包装在我们的数据集中。 然后，使用以下目标对预训练模型 ${\mathrm{\Theta }}^{\text{LPT}}$ 的参数在 ${𝒟}_{\text{LFT}}$ 上进行微调：

$${ℒ}_{\text{LFT}}(\mathrm{\Theta },{𝒟}_{\text{LFT}})={𝔼}_{𝒙\sim {𝒟}_{\text{LFT}}}\left[-\sum _{i\in \{\text{output}\}}\log f_{{\mathrm{\Theta }}^{\text{LPT}}}(x_i|x_0,x_1,\mathrm{\dots },x_{i-1})\right]$$ (2)

其中 $\mathrm{\Theta }$ 表示优化参数，$𝒙=(x_0,x_1,\mathrm{\dots })$ 表示从数据集 ${𝒟}_{\text{LFT}}$ 提取并由模板 3 包装的标记化输入序列，以及 $\{\text{output}\}$表示输出标记的索引集。 我们优化预训练参数${\mathrm{\Theta }}^{\text{LPT}}$以获得LawGPT${\mathrm{\Theta }}^{\text{LFT}}$的参数。

3.3 LawGPT的推论

当将LawGPT应用于下游任务时，我们应该使用Template 3中的Alpaca模板包装指令，然后将文本标记为$𝒙=(x_0,x_1,\mathrm{\dots },x_n)$。 然后，我们将标记化的输入序列 $𝒙$ 输入到微调模型 $f_{{\mathrm{\Theta }}^{\text{LFT}}}(\cdot )$ 中，以自回归方式生成响应。

4实验

4.1实现细节

我们使用 8 个 NVIDIA V100 GPU，基于 Chinese-Alpaca-Plus 7B 基本模型（Cui 等人，2023b） 训练了 LawGPT，分两个阶段：面向法律的预训练- 培训和法律监督的微调。 对于面向法律的预训练，我们采用我们的 500K 法律预训练语料库 ${𝒟}_{\text{LPT}}$ 使用 LoRA 技术 (Hu 等人, 2022) 来训练基础模型。 我们将 LoRA 等级设置为 16，alpha 设置为 32，dropout 设置为 0.05。 学习率设置为 0.0003，批量大小设置为 128，训练纪元设置为 1。 对于法律监督微调，我们采用 30K 法律监督语料库 ${𝒟}_{\text{LFT}}$ 来使用 LoRA 技术通过 Alpaca 模板调整我们的预训练模型。 我们将 LoRA 等级设置为 8，alpha 设置为 16，dropout 设置为 0.05。 我们将学习率设置为 0.0003，批量大小设置为 64，训练纪元设置为 20。

4.2性能评估

表格1： LawGPT、专有模型（包括 GPT-3.5 Turbo （OpenAI，2023a） 和 GPT-4 （OpenAI，2023b） 与 7B 之间的性能比较零样本设置上的开源模型 LLaMA (Touvron 等人, 2023a)。 LawGPT 和开源模型中的最佳性能以粗体显示。

Models	Tasks
	#1	#2	#3	#4	#5	#6	#7	#8	Avg.
GPT-3.5 Turbo	29.5	31.3	35.5	78.7	76.8	27.4	61.2	17.4	44.7
GPT-4	52.5	27.5	42.0	82.6	81.9	48.6	77.6	19.6	54.0
LLaMA	1.0	7.5	7.0	41.3	54.2	0.2	14.4	7.8	16.7
LaWGPT	0.2	11.0	15.7	42.4	40.8	6.2	15.4	7.6	17.4

在本节中，我们进行实验来评估 LawGPT 在 8 个法律应用（Fei 等人，2023） 上的性能，包括基于事实的文章预测 (#1)、基于场景的物品预测（#2）、指控预测（#3）、无物品刑期预测（#4）、有物品刑期预测（#5）、案件分析（#6）、刑事赔偿计算（#7） ），并在零样本环境中进行咨询（#8）。 我们将 LawGPT 与专有模型的性能进行比较，包括 GPT-3.5 Turbo （OpenAI，2023a） 和 GPT-4 （OpenAI，2023b），以及LLaMA等7B开源模型（Touvron等人，2023a）。 结果如表1所示。 结果表明，我们的 LawGPT 在主要任务上优于 LLaMA 7B 模型，并具有更好的平均性能。 尽管具有保护数据隐私的优势，但 LawGPT 与专有模型之间仍然存在显着的性能差距。 这一结果激励我们和后续研究人员探索LawGPT在未来工作中的潜力。

5结论

在本次技术报告中，我们介绍了LawGPT，这是一种专为中国法律应用而设计的中国法律知识增强型大语言模型。 我们引入了面向法律的预训练和法律监督微调，分别融入法律领域知识并增强模型在下游法律任务上的性能。 我们的实验结果表明 LawGPT 优于开源 LLaMA 7B 模型。 我们希望这份技术报告和LawGPT模型能够对未来中国法律应用的研究有所启发，为法律人工智能社区的发展做出贡献。