Awesome

ZH | EN

郑和海事大模型（Zh-MT-LLM）是大连海事大学智能技术实验室开发的一个面向海事领域从业人员、培训人员和学生，提供海事法律法规问答、海事教育培训、海事专业知识问答的垂直领域海事大模型。

对应以上三大板块，我们的模型具有以下三大特点：

• 海事法律法规问答：模型从大量的海事相关法律法规内容中学习到了涉及海事领域的法律知识，可以为海事领域相关人员提供咨询服务。部分训练数据来源于共计 1.4w 条海事相关的法律法规，涵盖了国际公约、海事类法律、国务院文件、部委文件、行政法规、海事局文件以及司法解释文件等内容。
• 海事教育培训：首先，模型从来源于网络和教材中的海事专业试题学习到了一部分海事领域教育知识。其次，我们使用各种海事类职业考试大纲来生成了大量海事岗位培训知识来训练模型，其中包含《海船船员考试大纲》、《船舶载运危险货物申报人员考试大纲》和《危险货物集装箱装箱现场检查人员考试大纲》。另外模型还学习了一部分高质量的船员常见问答知识，以供培训人员答疑解惑。
• 海事各类专业知识问答：面向船舶、港口、海洋、航海等海事专业领域，模型学习了涉及船舶维修、船舶安全管理、港口运营和管理、海运物流、海事安全、航海技术、海洋环境保护、海洋科学研究相关知识，可以为海事各类专业从业人员提供答疑解惑。

本项目将陆续开源一系列海事领域指令微调数据和海事大模型权重，助力海事大模型的研究。

新闻 ✨

[2023/12/18] 正式发布郑和海事大模型（Zh-MT-LLM），并开源Zh-MT-LLM v1.0模型，以及该版本的 LoRA模型权重

功能展示

海事法律法规问答

海事教育培训

海事各类专业知识问答

模型评测

为了更全面地对比郑和海事大模型（Zh-MT-LLM）与通用领域大模型在海事领域内的性能差异。我们从客观题和主观题两个角度出发，构建了两个评测数据集，分别是 Zh-eval-opt 和 Zh-eval-qa。

客观题评测

Zh-eval-opt 客观题评测数据集包含800道选择题。题目内容尽可能广地覆盖了海事领域各类专业，同时也包含了船员培训的相关试题。我们使用准确度（Accuracy）来对比模型在该数据集上的性能。

评测结果

​ 表1：客观题评测结果

表1中客观题评测结果表明，我们的模型在海事专业能力上有明显优势。

主观题评测

Zh-eval-qa 数据量为2000。包含海事法律法规问答600道，海事教育培训600道，海事专业知识问答800道。主观题评测我们使用 GPT-3.5-Turbo 自动评测的方式来对比模型性能。

自动评测以参考资料作为基准答案，对各个模型给出的答案从完整性、准确性和条理清晰与否三个角度进行评分，分数区间为1-5分。综合得分按照 $0.4 * 准确性+0.3 *（完整性+清晰度）$的方式进行计算。

评测结果

​ 表2：主观题评测结果

在主观评测中，我们的模型在准确性和完整性上取得了最高的分数，清晰度得分也与最好的模型ChatGLM3-6b的chat版水平相当。

推理和部署

1. 下载本仓库内容至本地/远程服务器

git clone https://github.com/ITRECLab/Zh-MT-LLM.git

2. 创建conda环境

conda create --name zh-mt-llm python=3.9
conda activate zh-mt-llm

3. 安装依赖

cd Zh-MT-LLM
pip install -r requirements.txt

4. 下载 全参模型权重，如果本地有 ChatGLM3-6b-base 模型可以选择下载 LoRA模型权重
5. 使用如下代码进行推理：

import torch
import argparse
from transformers import AutoModelForCausalLM, AutoTokenizer,AutoModel
from peft import PeftModel
# Argument Parser Setup
parser = argparse.ArgumentParser()
parser.add_argument("--model", type=str, default="ZhangFuXi/Zh-MT-LLM",
                    help="The directory of the model")
parser.add_argument("--tokenizer", type=str, default="ZhangFuXi/Zh-MT-LLM", help="Tokenizer path")
parser.add_argument("--adapter", type=str, default=None,
                    help="Path to the LoRA model checkpoint")
args = parser.parse_args()

if args.tokenizer is None:
    args.tokenizer = args.model
# 加载model
model = AutoModelForCausalLM.from_pretrained(
    args.model,
    trust_remote_code=True,
    low_cpu_mem_usage=True,
    torch_dtype=torch.float16,
    device_map='auto'
)
# 加载adapter
if args.adapter is not None:
    model = PeftModel.from_pretrained(model, args.adapter)
# 加载tokenizer
tokenizer = AutoTokenizer.from_pretrained(args.tokenizer, trust_remote_code=True)
model = model.eval()
meta_instruction = "你是ITREC实验室开发的郑和，一个海事领域的专家。请为用户尽可能地提供帮助。注意用词的安全性，不要做任何违法的事情。\n"
user_input = "你好。"
prompt = meta_instruction + user_input
response, history = model.chat(tokenizer, prompt, history=None)
print(response)

模型训练

郑和海事大模型（Zh-MT-LLM）选择 ChatGLM3-6B-base 作为基座模型，该模型具有在 10B 以下的基础模型中最强的性能。 为了有效改善模型效果并且有较高的微调效率，我们选择使用 QLoRA 在 2*A800GPU 上进行指令微调。微调代码参考Firefly项目执行以下命令：

torchrun --nproc_per_node=2 train_qlora.py --train_args_file train_args/qlora/chatglm3-6b-sft-qlora.json

微调使用的主要参数如下：

{ 
    "num_train_epochs": 2,
    "per_device_train_batch_size": 20,
    "gradient_accumulation_steps": 2,
    "learning_rate": 0.0002,
    "max_seq_length": 1024,
    "logging_steps": 20,
    "save_total_limit": 10,
    "lr_scheduler_type": "constant_with_warmup",
    "warmup_steps": 0.1,
    "lora_rank": 64,
    "lora_alpha": 32,
    "lora_dropout": 0.05,
    "weight_decay": 0,
    "max_grad_norm": 0.3,
}

训练数据

训练数据使用面向三大板块组织的海事领域数据 Zh-mt-sft，以及30w条通用对话数据 moss-003-sft-data。Zh-mt-sft具体包含海事法律法规问答相关的 CrimeKgAssitant-1.8w、Zh-law-qa、Zh-law-court，海事教育培训相关的Zh-edu-qa、Zh-edu-qb，以及海事专业知识问答相关的 Zh-mt-qa。

指令微调数据集Zh-mt-sft 的构造方法如下：

海事法律法规问答

海事法律法规问答板块共包含有三种服务：

• 海事法律法规咨询
• 法院认为
• 判决预测

为提供海事领域特色的法律法规咨询服务，本项目收集了共计1.4w条海事相关的法律法规，涵盖了国际公约、海事类法律、国务院文件、部委文件、行政法规、海事局文件以及司法解释文件等内容。基于以上收集的信息，我们设计并迭代了提示词，使用 GPT-3.5-Turbo 生成了共计5.9w条海事法律法规咨询数据。我们从其中抽取了1.3k条涉及海商法的法律咨询数据，由海商法专业人员进行改写，在提升回复专业性的同时对齐了人类偏好。另外，我们从 CrimeKgAssitant 真实场景下法律咨询数据集中，清洗并筛选出1.8w条质量较高的数据，来增加法律咨询的通用性。

法院认为、判决预测部分共计5.6k条数据，收集自北大法宝网中海事相关的真实司法案例。截取其中案件信息描述部分作为输入，法院认为和法院判决内容分别作为两个业务的输出。

海事教育培训

海事教育培训包含两大服务内容：

• 海事专业题库
• 海事教育咨询

海事专业题库收集自网络以及校内的各类海事相关专业题库，其中包含一部分从网上收集的船员考证相关试题，共计2.3w条，其中包含单选题、多选题和判断题。

海事教育咨询服务面向海事领域各类培训人员以及海事专业学生，提供专业知识相关的教育咨询服务。数据来源于三部分：第一部分，我们收集了海事领域培训人员考试大纲，例如《海船船员考试大纲》、《从事船舶载运危险货物进出港口申报人员考试大纲》。根据大纲中的知识点，我们设计并迭代了提示词，使用 GPT-3.5-Turbo 生成了2.2w条数据。第二部分，我们从网络上收集了高质量的船员职业常识问答数据共计1k条。第三部分，我们将题库中一部分涉及专业知识的试题，使用 GPT-3.5-Turbo 按照以下原则重构了Q&A：

• 回复要基于答案选项内容继续充实。
• 改写的问题需要联系该题目的正确答案。
• 问题、回复中都不能出现关于原选择/判断题目类型的描述。

最终我们筛选出其中1.6w条高质量数据，来增加咨询数据中的海事领域专业知识。

海事专业知识问答

对于该部分数据我们首先获取了一部分海事相关论坛的高质量问答数据，之后又围绕海事领域知识使用GPT-3.5-Turbo自问自答和GPT-3.5-Turbo提问GPT-4.0-Turbo解答两种方法生成问答，最终共产出7.2w条数据。对于两种途径产出的7.2w条数据，我们通过清洗和筛选后保留了4.6w条高质量数据用于微调。

以上训练使用的数据集具体统计信息如下：

​ 表3：训练数据统计信息

声明

由于模型参数量限制、训练数据的清洗程度等因素，本项目开源的模型可能存在以下局限性：

• 由于未经过无害化微调，可能会产生歧视、危害、违背伦理道德的言论。

• 由于缺乏对真实世界的准确理解，模型可能会产生幻觉性回复，误导用户。

• 模型的训练数据可能包含有偏见的数据，用户应谨慎处理模型回应中的潜在偏见问题。

• 由于模型参数量受限，可能无法涵盖所有领域的知识，导致在某些主题上的回复不够准确或完整。

• 在处理特定领域的事实性知识时，模型可能因信息不足或误解而提供错误的答案，导致误导或混淆。

鉴于以上模型的局限性，我们要求本项目的代码、数据、模型不得用于对社会造成危害的用途，并且必须遵循基座模型的MODEL_LICENCE。 我们不对因使用 Zh-MT-LLM 所引发的任何问题、风险或不良后果承担责任。

开发团队

郑和海事大模型（Zh-MT-LLM）由大连海事大学智能技术实验室（ITREC）大模型项目组研发。

指导教师：张益嘉，鲁明羽，李国强，邢厚群

学生成员：张富玺、付生博、周一鸣、万秉宇、张峻玮、李松涛、张诗笛、王世龙、程俊凯、尹伟鸣、裴清华、李晓博、赵启雲、朴承权、孙伟豪 、李振鑫、王锦帆 、姜宇凡、孙林、关金筑、苌帅、马子怡、王畅、陈帅

合作邮箱：zhangyijia@dlmu.edu.cn

致谢

感谢北京华夏电通科技股份有限公司大连分公司、大连海事大学信息科学技术学院高性能计算中心提供的支持和帮助，同时感谢以下开源项目对本项目的启发和帮助：

• ChatGLM3
• Taiyi
• Firefly
• DISC-LawLLM
• CrimeKgAssitant
• 本项目的Logo 由DALL·E 3初步生成后， 经过人工修改得到 。

Star History