Awesome

🇨🇳中文 | 🌐English | 📖文档/Docs | 🤖模型/Models

MedicalGPT: Training Medical GPT Model

📖 Introduction

MedicalGPT training medical GPT model with ChatGPT training pipeline, implemantation of Pretraining, Supervised Finetuning, RLHF(Reward Modeling and Reinforcement Learning) and DPO(Direct Preference Optimization).

MedicalGPT 训练医疗大模型，实现了包括增量预训练、有监督微调、RLHF(奖励建模、强化学习训练)和DPO(直接偏好优化)。

• RLHF training pipeline来自Andrej Karpathy的演讲PDF State of GPT，视频 Video
• DPO方法来自论文Direct Preference Optimization:Your Language Model is Secretly a Reward Model
• ORPO方法来自论文ORPO: Monolithic Preference Optimization without Reference Model

🔥 News

[2024/09/21] v2.3版本: 支持了 Qwen-2.5 系列模型，详见Release-v2.3

[2024/08/02] v2.2版本：支持了角色扮演模型训练，新增了医患对话SFT数据生成脚本role_play_data，详见Release-v2.2

[2024/06/11] v2.1版本：支持了 Qwen-2 系列模型，详见Release-v2.1

[2024/04/24] v2.0版本：支持了 Llama-3 系列模型，详见Release-v2.0

[2024/04/17] v1.9版本：支持了 ORPO，详细用法请参照 run_orpo.sh。详见Release-v1.9

[2024/01/26] v1.8版本：支持微调Mixtral混合专家MoE模型 Mixtral 8x7B。详见Release-v1.8

[2024/01/14] v1.7版本：新增检索增强生成(RAG)的基于文件问答ChatPDF功能，代码chatpdf.py，可以基于微调后的LLM结合知识库文件问答提升行业问答准确率。详见Release-v1.7

[2023/10/23] v1.6版本：新增RoPE插值来扩展GPT模型的上下文长度；针对LLaMA模型支持了FlashAttention-2和LongLoRA 提出的 $S^2$-Attn；支持了NEFTune给embedding加噪训练方法。详见Release-v1.6

[2023/08/28] v1.5版本: 新增DPO(直接偏好优化)方法，DPO通过直接优化语言模型来实现对其行为的精确控制，可以有效学习到人类偏好。详见Release-v1.5

[2023/08/08] v1.4版本: 发布基于ShareGPT4数据集微调的中英文Vicuna-13B模型shibing624/vicuna-baichuan-13b-chat，和对应的LoRA模型shibing624/vicuna-baichuan-13b-chat-lora，详见Release-v1.4

[2023/08/02] v1.3版本: 新增LLaMA, LLaMA2, Bloom, ChatGLM, ChatGLM2, Baichuan模型的多轮对话微调训练；新增领域词表扩充功能；新增中文预训练数据集和中文ShareGPT微调训练集，详见Release-v1.3

[2023/07/13] v1.1版本: 发布中文医疗LLaMA-13B模型shibing624/ziya-llama-13b-medical-merged，基于Ziya-LLaMA-13B-v1模型，SFT微调了一版医疗模型，医疗问答效果有提升，发布微调后的完整模型权重，详见Release-v1.1

[2023/06/15] v1.0版本: 发布中文医疗LoRA模型shibing624/ziya-llama-13b-medical-lora，基于Ziya-LLaMA-13B-v1模型，SFT微调了一版医疗模型，医疗问答效果有提升，发布微调后的LoRA权重，详见Release-v1.0

[2023/06/05] v0.2版本: 以医疗为例，训练领域大模型，实现了四阶段训练：包括二次预训练、有监督微调、奖励建模、强化学习训练。详见Release-v0.2

😊 Features

基于ChatGPT Training Pipeline，本项目实现了领域模型--医疗行业语言大模型的训练：

• 第一阶段：PT(Continue PreTraining)增量预训练，在海量领域文档数据上二次预训练GPT模型，以适应领域数据分布（可选）
• 第二阶段：SFT(Supervised Fine-tuning)有监督微调，构造指令微调数据集，在预训练模型基础上做指令精调，以对齐指令意图，并注入领域知识
• 第三阶段
  • RLHF(Reinforcement Learning from Human Feedback)基于人类反馈对语言模型进行强化学习，分为两步：
    • RM(Reward Model)奖励模型建模，构造人类偏好排序数据集，训练奖励模型，用来建模人类偏好，主要是"HHH"原则，具体是"helpful, honest, harmless"
    • RL(Reinforcement Learning)强化学习，用奖励模型来训练SFT模型，生成模型使用奖励或惩罚来更新其策略，以便生成更高质量、更符合人类偏好的文本
  • DPO(Direct Preference Optimization)直接偏好优化方法，DPO通过直接优化语言模型来实现对其行为的精确控制，而无需使用复杂的强化学习，也可以有效学习到人类偏好，DPO相较于RLHF更容易实现且易于训练，效果更好
  • ORPO比值比偏好优化，不需要参考模型（ref_model）的优化方法，通过ORPO，LLM可以同时学习SFT和对齐，将两个过程整合为单一步骤，缓解模型灾难性遗忘问题

Release Models

演示shibing624/vicuna-baichuan-13b-chat模型效果： <img src="https://github.com/shibing624/MedicalGPT/blob/main/docs/demo-screen.gif" width="860" /> 具体case见Inference Examples

▶️ Demo

我们提供了一个简洁的基于gradio的交互式web界面，启动服务后，可通过浏览器访问，输入问题，模型会返回答案。

启动服务，命令如下：

CUDA_VISIBLE_DEVICES=0 python gradio_demo.py --model_type base_model_type --base_model path_to_llama_hf_dir --lora_model path_to_lora_dir

参数说明：

• --model_type {base_model_type}：预训练模型类型，如llama、bloom、chatglm等
• --base_model {base_model}：存放HF格式的LLaMA模型权重和配置文件的目录，也可使用HF Model Hub模型调用名称
• --lora_model {lora_model}：LoRA文件所在目录，也可使用HF Model Hub模型调用名称。若lora权重已经合并到预训练模型，则删除--lora_model参数
• --tokenizer_path {tokenizer_path}：存放对应tokenizer的目录。若不提供此参数，则其默认值与--base_model相同
• --template_name：模板名称，如vicuna、alpaca等。若不提供此参数，则其默认值是vicuna
• --only_cpu: 仅使用CPU进行推理
• --resize_emb：是否调整embedding大小，若不调整，则使用预训练模型的embedding大小，默认不调整

💾 Install

Updating the requirements

requirements.txt会不时更新以适配最新功能，使用以下命令更新依赖:

git clone https://github.com/shibing624/MedicalGPT
cd MedicalGPT
pip install -r requirements.txt --upgrade

Hardware Requirement (显存/VRAM)

* 估算值

🚀 Training Pipeline

Training Stage:

• 提供完整PT+SFT+DPO全阶段串起来训练的pipeline：run_training_dpo_pipeline.ipynb ，其对应的colab： ，运行完大概需要15分钟
• 提供完整PT+SFT+RLHF全阶段串起来训练的pipeline：run_training_ppo_pipeline.ipynb ，其对应的colab： ，运行完大概需要20分钟
• 提供基于知识库文件的LLM问答功能（RAG）：chatpdf.py
• 训练参数说明 | 训练参数说明wiki
• 数据集 | 数据集wiki
• 扩充词表 | 扩充词表wiki
• FAQ | FAQ_wiki

Supported Models

💻 Inference

训练完成后，现在我们加载训练好的模型，验证模型生成文本的效果。

CUDA_VISIBLE_DEVICES=0 python inference.py \
    --model_type base_model_type \
    --base_model path_to_model_hf_dir \
    --tokenizer_path path_to_model_hf_dir \
    --lora_model path_to_lora \
    --interactive

参数说明：

• --model_type {base_model_type}：预训练模型类型，如llama、bloom、chatglm等
• --base_model {base_model}：存放HF格式的LLaMA模型权重和配置文件的目录
• --tokenizer_path {base_model}：存放HF格式的LLaMA模型权重和配置文件的目录
• --lora_model {lora_model}：LoRA解压后文件所在目录，也可使用HF Model Hub模型调用名称。如果已经合并了LoRA权重到预训练模型，则可以不提供此参数
• --tokenizer_path {tokenizer_path}：存放对应tokenizer的目录。若不提供此参数，则其默认值与--base_model相同
• --template_name：模板名称，如vicuna、alpaca等。若不提供此参数，则其默认值是vicuna
• --interactive：以交互方式启动多轮问答，使用流式推理
• --data_file {file_name}：非交互方式启动下，读取file_name中的的内容进行batch预测
• --output_file {file_name}：非交互式方式下，将预测的结果以jsonl格式写入file_name
• --resize_emb：是否调整embedding大小，若不调整，则使用预训练模型的embedding大小，默认不调整
• --only_cpu：仅使用CPU进行推理
• --gpus {gpu_ids}：指定使用的GPU设备编号，默认为0。如使用多张GPU，以逗号分隔，如0,1,2

多卡推理

多卡数据并行，batch推理

CUDA_VISIBLE_DEVICES=0,1 torchrun --nproc_per_node 2 inference_multigpu_demo.py --model_type baichuan --base_model shibing624/vicuna-baichuan-13b-chat

Vllm多卡部署

bash run_Multi-GPUs-deployment.sh

Inference Examples

shibing624/vicuna-baichuan-13b-chat inference examples:

📚 Dataset

医疗数据集

• 240万条中文医疗数据集(包括预训练、指令微调和奖励数据集)：shibing624/medical
• 22万条中文医疗对话数据集(华佗项目)：shibing624/huatuo_medical_qa_sharegpt 【本项目支持格式】

通用数据集

Pretraining datasets(预训练数据集)

• 16GB中英文无监督、平行语料Linly-AI/Chinese-pretraining-dataset
• 524MB中文维基百科语料wikipedia-cn-20230720-filtered

Supervised fine-tuning datasets(指令微调数据集)

• 10万条多语言ShareGPT GPT4多轮对话数据集：shibing624/sharegpt_gpt4 【本项目支持格式】
• 9万条英文ShareGPT多轮对话数集：anon8231489123/ShareGPT_Vicuna_unfiltered 【本项目支持格式】
• 50万条中文ChatGPT指令Belle数据集：BelleGroup/train_0.5M_CN
• 100万条中文ChatGPT指令Belle数据集：BelleGroup/train_1M_CN
• 5万条英文ChatGPT指令Alpaca数据集：50k English Stanford Alpaca dataset
• 2万条中文ChatGPT指令Alpaca数据集：shibing624/alpaca-zh
• 69万条中文指令Guanaco数据集(Belle50万条+Guanaco19万条)：Chinese-Vicuna/guanaco_belle_merge_v1.0
• 5万条英文ChatGPT多轮对话数据集：RyokoAI/ShareGPT52K
• 80万条中文ChatGPT多轮对话数据集：BelleGroup/multiturn_chat_0.8M
• 116万条中文ChatGPT多轮对话数据集：fnlp/moss-002-sft-data
• 3.8万条中文ShareGPT多轮对话数据集：FreedomIntelligence/ShareGPT-CN
• 130万条中文微调数据集（汇总）：zhuangxialie/Llama3-Chinese-Dataset 【本项目支持格式】
• 7千条中文角色扮演多轮对话数据集：shibing624/roleplay-zh-sharegpt-gpt4-data 【本项目支持格式】

Preference datasets(偏好数据集)

• 2万条中英文偏好数据集：shibing624/DPO-En-Zh-20k-Preference 【本项目支持格式】
• 原版的oasst1数据集：OpenAssistant/oasst1
• 2万条多语言oasst1的reward数据集：tasksource/oasst1_pairwise_rlhf_reward
• 11万条英文hh-rlhf的reward数据集：Dahoas/full-hh-rlhf
• 9万条英文reward数据集(来自Anthropic's Helpful Harmless dataset)：Dahoas/static-hh
• 7万条英文reward数据集（来源同上）：Dahoas/rm-static
• 7万条繁体中文的reward数据集（翻译自rm-static）liswei/rm-static-m2m100-zh
• 7万条英文Reward数据集：yitingxie/rlhf-reward-datasets
• 3千条中文知乎问答偏好数据集：liyucheng/zhihu_rlhf_3k

☎️ Contact

• Issue(建议) ：
• 邮件我：xuming: xuming624@qq.com
• 微信我： 加我微信号：xuming624, 备注：姓名-公司名-NLP 进NLP交流群（加我拉你进群）。

⚠️ LICENSE

本项目仅可应用于研究目的，项目开发者不承担任何因使用本项目（包含但不限于数据、模型、代码等）导致的危害或损失。详细请参考免责声明。

MedicalGPT项目代码的授权协议为 The Apache License 2.0，代码可免费用做商业用途，模型权重和数据只能用于研究目的。请在产品说明中附加MedicalGPT的链接和授权协议。

😇 Citation

如果你在研究中使用了MedicalGPT，请按如下格式引用：

@misc{MedicalGPT,
  title={MedicalGPT: Training Medical GPT Model},
  author={Ming Xu},
  year={2023},
  howpublished={\url{https://github.com/shibing624/MedicalGPT}},
}

😍 Contribute

项目代码还很粗糙，如果大家对代码有所改进，欢迎提交回本项目，在提交之前，注意以下两点：

• 在tests添加相应的单元测试
• 使用python -m pytest来运行所有单元测试，确保所有单测都是通过的

之后即可提交PR。

💕 Acknowledgements

• Direct Preference Optimization:Your Language Model is Secretly a Reward Model
• tloen/alpaca-lora
• ymcui/Chinese-LLaMA-Alpaca
• hiyouga/LLaMA-Factory
• dvlab-research/LongLoRA

Thanks for their great work!

关联项目推荐

• shibing624/ChatPilot：给 LLM Agent（包括RAG、在线搜索、Code interpreter） 提供一个简单好用的Web UI界面