Awesome

智海-录问

项目概要

• 智海-录问(wisdomInterrogatory)是由浙江大学、阿里巴巴达摩院以及华院计算三家单位共同设计研发的法律大模型。核心思想：以“普法共享和司法效能提升”为目标，从推动法律智能化体系入司法实践、数字化案例建设、虚拟法律咨询服务赋能等方面提供支持，形成数字化和智能化的司法基座能力。

• 技术咨询可联系Yiquan Wu，学术合作可联系Kun Kuang

• 相关报道 “智海-录问”法律大模型正式发布，行业首个法律大模型评估指标体系公开

• 目前已开放Modelscope在线试用

下面主要介绍模型训练与模型增强。

模型训练

我们的模型基座是Baichuan-7B，在此基础上，进行了二次预训练以及指令微调训练。

二次预训练

二次预训练的目的是给通用的大模型注入法律领域的知识。预训练的数据包括法律文书、司法案例以及法律问答数据，共40G。

指令微调训练

经过了二次预训练之后，在指令微调阶段，我们使用了100k的指微调训练，其目的是让大模型具备问答的能力，能够直接与用户进行交流。

1. 数据分布

• 法律数据类别：

  本研究使用的数据类别包括法考题、司法咨询、法律情景问答、触犯法律与罪名预测、刑期预测、法院意见、案件摘要提取等。

• 法律数据来源：

  广泛收集了公开的法律数据集和相关的文本资料用于数据的构造。

• 法律数据分布：

• 数据总体占比：

  法律领域数据占总体数据的30%，通用数据占总体数据的70%。通用数据中，英文数据和中文数据各占50%。

• 通用数据：

  • 英文数据：LIMA 、OpenOrca 、ShareGPT等

  • 中文数据：BELLE 、MOSS等

2. 数据收集与筛选

• 对数据进行去重和清洗，通过条件过滤去除低质量的数据和重复数据。

• 对数据进行聚类和下采样。先使用Sentence-BERT对数据进行句子嵌入，然后对嵌入向量进行正则化和降维。之后利用KMeans算法对数据进行聚类，并在聚类簇中使用KCenter算法进行降采样。

3. 数据改造

• 触犯法律与罪名预测

  • 原始数据：案件事实以及被告人触犯的法律与罪名。

  • 改造数据：使用ChatGPT生成多样化指令并与案件事实随机拼接作为输入。基于已知答案，通过GPT-3.5生成包含事件摘要和触犯法律(和罪名)的输出。

• 刑期预测

  • 原始数据：案件事实以及被告人被判刑罚。

  • 改造数据：使用ChatGPT生成多样化指令并与案件事实随机拼接作为输入。基于已知答案，通过GPT-3.5生成包含事件摘要、触犯法律、犯罪性质分析和刑期预测的输出。

• 法考题、法院意见、案件摘要提取

  • 原始数据：法考题、法院意见、案件事实及其摘要。

  • 改造数据：使用ChatGPT生成多样化指令并与原始数据随机拼接作为输入。对原始数据进行简单处理生成输出。

• 法律多轮对话数据生成

  使用不同prompt分别设置GPT-3.5为法律助手模型和用户模型，进行多轮对话。第一轮由用户模型基于法律事件随机提出问题，之后每轮利用prompt引导用户模型从不同角度提问或基于上轮对话进行深入提问，法律助手模型则负责对用户问题进行回复。

模型增强

知识库构建

我们目前一共收集了6种类型的知识库，包括法条类、案例类、模板类、书籍类、法律考试类、法律日常问答类。

1. 知识库收集与处理

• 法条库
  • 法条库中包含了宪法、法律（宪法相关法、民商法、刑法、经济法、行政法、社会法、诉讼与非诉讼程序法）、司法解释、地方性法规（浙江、河南、北京、广东、重庆、山东、上海）、监察法规和行政法规。
  • 处理：输出为多个txt文件，其中刑法是json文件，key是标题，value是内容。
• 法律文书模版库
  • 法律文书模版库包含了民法、刑法和行政法三大部门法的起诉状、上诉状、法院判决书模版，以及合同等常用法律文书模版。
  • 处理：由于模版通常较长，因此通过ChatGPT总结得到文书模版的书写要点。最后得到一个json文件，key是文书标题，value是文书标题和要点。
• 法学书籍库
  • 法学书籍库涵盖了民法, 国际私法, 环境资源法, 法理学, 国际经济法, 中国特色社会主义法治理论, 民事诉讼法, 刑法, 刑事诉讼法, 司法制度和法律职业道德, 商法, 劳动与社会保障法, 宪法, 行政法与行政诉讼法, 国际法, 知识产权法, 经济法, 中国法律史等领域。
  • 处理：根据标题处理为多个txt文件以及与其对应的json文件，key是标题，value是内容。
• 案例库
  • 案例库包含了刑法、民法领域中的大量案例。
  • 处理：由于案件事实通常较长，因此通过ChatGPT将案件事实总结成【主观动机】、【客观行为】以及【事外情节】三个部分。最后得到一个json文件，key是案件事实，value是事实和判决结果。
• 法考题库
  • 法考题库包含了2016年到2020年的1200题考题、选项、解析和答案。
  • 处理：一个json文件，key是问题，value是问题、选项、解析和答案。
• 法律日常问答库
  • 法律问答库包含了几千条法律领域的常见问题和答案数据。
  • 处理：一个json文件，key是问题，value是答案。

2. 知识库存储

• 任何一个知识点都是一个[key, value]的pair，其中key是该知识点的内容简介，用于检索，而value是知识点的具体内容，用于输入到模型中作为参考。

知识增强

1. 知识定位

• 意图识别（多步检索）

不同问题需要不同类型的知识库来辅助问答，首先需要识别出问题意图获取哪些知识。我们通过问题中的关键词和上述五种类型知识库的特征的关键词匹配，以此识别出问题涉及的知识类型并用对应知识库辅助。通过识别问题意图，缩小需要检索的知识库范围，减少易混淆知识带来的影响，提升检索精确度。

• 知识检索（多路检索）

检索的时候，同时采用统计特征层面的检索和语义特征层面的检索。（1）对于统计特征，我们预先提取知识库中每条知识的关键词，比如法条库中每条法条的关键词是所属法律和法条条数，我们使用fuzzy matching提取问题中的关键词和知识关键词匹配获取相关知识；（2）对于语义特征，我们使用向量相似度检索，为了提升检索精确度，我们预先准备每条知识对应的摘要，向量检索时使用知识摘要和问题进行相似度计算，找到相关知识后替换成具体知识。

• 检索模型训练

为了获得更好的检索效果，我们额外利用对比学习训练了检索模型的embedding，具体地，我们将案例所对应的真实法条、类似案例、相关书籍描述等知识作为正例，并通过随机抽取和易混淆抽取（抽取和案例相似度高但并不对应的知识）两种方式获取负例。

2. 知识融合

知识检索在意图识别阶段可能涉及多个知识库类型，我们将检索到的不同来源的知识融合后输入给法律大模型。比如询问一个案例如何判罚时，意图识别阶段识别出应在法条库和类案库做检索，我们把和知识库名和其下检索到的知识拼接，再和问题拼接，共同输入到模型生成答案：

• 可参考的知识：法条：知识1，知识2 类案：知识1，知识2 问题：XXX，请问这个案例应该如何判罚？

使用说明

1. 训练

训练环境安装

transformers>=4.27.1
datasets==2.13.0
evaluate==0.4.0
accelerate>=0.20.1
deepspeed==0.9.5
sentencepiece==0.1.99
deepspeed>=0.8.3
pytest-rerunfailures>=11.1.2
tensorboard==2.13.0

配置DeepSpeed

本示范代码采用 DeepSpeed 框架进行训练。用户需根据集群情况，修改 ds_config/内配置文件，如果是多机多卡，需要修改 ssh 中各个节点的 IP 配置。具体可以参见 DeepSpeed 官方说明 。

训练代码：全量参数微调

部分参数解释：

model_name_or_path : 源模型路径。如：models/baichuan-7b

deepspeed : deepspeed配置文件路径。如： ds_config/zero2-A100-40G.json

train_file : SFT训练数据文件路径。如： data_demo/demo.jsonl

output_dir : 模型保存路径。如： output/baichuan_7b_test

export NPROC_PER_NODE=6 # Num of GPU
export MASTER_ADDR=127.0.0.1
export MASTER_PORT=9527
export WORLD_SIZE=1
export RANK=0

DISTRIBUTED_ARGS="--nproc_per_node ${NPROC_PER_NODE} \
                  --nnodes ${WORLD_SIZE} \
                  --node_rank ${RANK} \
                  --master_addr ${MASTER_ADDR} \
                  --master_port ${MASTER_PORT}"

NCCL_DEBUG=INFO torchrun $DISTRIBUTED_ARGS run_clm.py \
  --model_name_or_path models/baichuan-7b \ # path to source model
  --deepspeed ds_config/zero2-A100-40G.json \  # path to deepspeed config file
  --train_file "data_demo/demo.jsonl" \ # path to sft data file
  --output_dir output/baichuan_7b_test \ # path to saved model 
  --bf16 \ 
  --gradient_checkpointing 1 \
  --per_device_train_batch_size 1 \
  --per_device_eval_batch_size 1 \
  --gradient_accumulation_steps 5 \
  --num_train_epochs 3 \
  --learning_rate 1e-5 \
  --logging_steps 10 \
  --save_strategy "epoch" \
  --warmup_ratio 0.1 \
  --weight_decay 0.1 \
  --do_train \
  --do_eval \
  --overwrite_output_dir \
  --max_seq_length 4096 \
  --dataloader_num_workers 24 \
  --preprocessing_num_workers 10

Tensorboard

tensorboard --logdir=luwen_baichuan/output/baichuan_7b_test/runs

2. 推理

推理环境安装

transformers>=4.27.1
accelerate>=0.20.1
torch>=2.0.1
sentencepiece==0.1.99

推理代码调用

from transformers import AutoModelForCausalLM, AutoTokenizer
import os
import torch
os.environ["CUDA_VISIBLE_DEVICES"] = "0"

model_path = "path_to_model"

def generate_response(prompt):
    torch.cuda.empty_cache()
    inputs = tokenizer(f'</s>Human:{prompt} </s>Assistant: ', return_tensors='pt')
    inputs = inputs.to('cuda')
    with torch.no_grad():
        pred = model.generate(**inputs, max_new_tokens=800, repetition_penalty=1.2)
    response = tokenizer.decode(pred.cpu()[0], skip_special_tokens=True)
    return response.split("Assistant: ")[1]

tokenizer = AutoTokenizer.from_pretrained(model_path, trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained(model_path, device_map="auto", trust_remote_code=True).half()
prompt = "如果喝了两斤白酒后开车，会有什么后果？"
resp = generate_response(prompt)
print(resp)

3. 界面 功能介绍：

• 在“请输入问题”框中输入问题，并点击发送，模型就会做出对应的回答，如果继续输入，那么就会执行多轮对话，如果希望重新开始一次对话，那么就点击“清除历史对话”。
• 在模型问答的基础上，可以通过检索相关知识以作为输入的补充。勾选“意图匹配”，则会自动匹配到相关知识库，可同时“手动选择知识库”，与自动识别的知识库做合并后检索。
• “知识库检索结果”中会显示检索到的最相关的知识。

模型参数下载

模型参数在以下百度网盘中：

链接:https://pan.baidu.com/s/1ue9nVhrRThpbPPyS7q72dw 密码:53vy

将压缩包解压后，放于luwen_baichuan/output/目录下，即可使用，注意文件夹名字要与infer代码中的model_path一致。

知识库数据在以下百度网盘中：

链接:https://pan.baidu.com/s/16lwM2rPnSq9u-UbtWbZgig 密码:anuo

将压缩包解压后，放于app目录下，即可使用。

模型效果

以下是模型推理、意图识别和知识检索的效果图：

1. 模型推理

2. 意图识别

3. 知识检索

未来方向

1. 知识库检索

目前通过纯embedding匹配的检索效果仍然一般，后面考虑设计一套流程，可以自动训练得到针对某一知识库的专用检索模型， 同时，模型对融合的知识的理解能力仍有限，考虑在模型训练中对结合知识输出这方面进行增强。

2. 评测矩阵

为了更好的评估大模型的能力，我们设计了一个评测矩阵，从司法能力、通用能力以及安全能力三个角度展开评测，目前数据仍在收集构造中。

3. 多模态能力

尽管大多数法律数据都以文本形式出现，但法律场景中，仍有许多其他形式的数据，如录音、图片、视频等，因此多模态的能力也很重要，下图是一个多模态应用场景的例子。

ToCite

@software{wisdomInterrogatory, author = {Wu, Yiquan and Liu, Yuhang and Liu, Yifei, and Li, Ang and Zhou, Siying and Kuang, Kun}, title = {wisdomInterrogatory}, url = {https://github.com/zhihaiLLM/wisdomInterrogatory}, version = {1.0}, date = {2024-03-18}, publisher = {GitHub}, note = {Available at GitHub} }

免责声明

本模型仅供学术研究之目的而提供，且原则上不可用于商业目的。本模型不保证结果的准确性、完整性或适用性。在使用模型生成的内容时，您应自行判断其适用性，并自担风险。