Home

Awesome

<p align="center"> <img src="https://github.com/liguodongiot/llm-action/blob/main/pic/llm-action-v3.png" > </p> <p> <a href="https://github.com/liguodongiot/llm-action/stargazers"> <img src="https://img.shields.io/github/stars/liguodongiot/llm-action?style=social" > </a> <a href="https://github.com/liguodongiot/llm-action/blob/main/pic/wx.jpg"> <img src="https://img.shields.io/badge/吃果冻不吐果冻皮-1AAD19.svg?style=plastic&logo=wechat&logoColor=white" > </a> <a href="https://www.zhihu.com/people/liguodong-iot"> <img src="https://img.shields.io/badge/吃果冻不吐果冻皮-0079FF.svg?style=plastic&logo=zhihu&logoColor=white"> </a> <a href="https://juejin.cn/user/3642056016410728"> <img src="https://img.shields.io/badge/掘金-吃果冻不吐果冻皮-000099.svg?style=plastic&logo=juejin"> </a> <a href="https://liguodong.blog.csdn.net/"> <img src="https://img.shields.io/badge/CSDN-吃果冻不吐果冻皮-6B238E.svg"> </a> </p>

🔥🔥🔥 最近正在做一个在 NVIDIA GPU、Ascend NPU 上训练大模型的简易工具unify-easy-llm，欢迎大家关注。

目录

LLM训练

LLM训练实战

下面汇总了我在大模型实践中训练相关的所有教程。从6B到65B，从全量微调到高效微调（LoRA，QLoRA，P-Tuning v2），再到RLHF（基于人工反馈的强化学习）。

LLM预训练/SFT/RLHF...参数教程代码
Alpacafull fine-turning7B从0到1复现斯坦福羊驼（Stanford Alpaca 7B）配套代码
Alpaca(LLaMA)LoRA7B~65B1.足够惊艳，使用Alpaca-Lora基于LLaMA(7B)二十分钟完成微调，效果比肩斯坦福羊驼<br>2. 使用 LoRA 技术对 LLaMA 65B 大模型进行微调及推理配套代码
BELLE(LLaMA/Bloom)full fine-turning7B1.基于LLaMA-7B/Bloomz-7B1-mt复现开源中文对话大模型BELLE及GPTQ量化 <br> 2. BELLE(LLaMA-7B/Bloomz-7B1-mt)大模型使用GPTQ量化后推理性能测试N/A
ChatGLMLoRA6B从0到1基于ChatGLM-6B使用LoRA进行参数高效微调配套代码
ChatGLMfull fine-turning/P-Tuning v26B使用DeepSpeed/P-Tuning v2对ChatGLM-6B进行微调配套代码
Vicuna(LLaMA)full fine-turning7B大模型也内卷，Vicuna训练及推理指南，效果碾压斯坦福羊驼N/A
OPTRLHF0.1B~66B1.一键式 RLHF 训练 DeepSpeed Chat（一）：理论篇 <br> 2. 一键式 RLHF 训练 DeepSpeed Chat（二）：实践篇配套代码
MiniGPT-4(LLaMA)full fine-turning7B大杀器，多模态大模型MiniGPT-4入坑指南N/A
Chinese-LLaMA-Alpaca(LLaMA)LoRA（预训练+微调）7B中文LLaMA&Alpaca大语言模型词表扩充+预训练+指令精调配套代码
LLaMAQLoRA7B/65B高效微调技术QLoRA实战，基于LLaMA-65B微调仅需48G显存，真香配套代码
LLaMAGaLore60M/7B突破内存瓶颈，使用 GaLore 一张4090消费级显卡也能预训练LLaMA-7B配套代码

⬆ 一键返回目录

LLM微调技术原理

对于普通大众来说，进行大模型的预训练或者全量微调遥不可及。由此，催生了各种参数高效微调技术，让科研人员或者普通开发者有机会尝试微调大模型。

因此，该技术值得我们进行深入分析其背后的机理，本系列大体分七篇文章进行讲解。

peft方法

LLM微调实战

下面给大家分享大模型参数高效微调技术实战，该系列主要针对 HuggingFace PEFT 框架支持的一些高效微调技术进行讲解。

教程代码框架
大模型参数高效微调技术实战（一）-PEFT概述及环境搭建N/AHuggingFace PEFT
大模型参数高效微调技术实战（二）-Prompt Tuning配套代码HuggingFace PEFT
大模型参数高效微调技术实战（三）-P-Tuning配套代码HuggingFace PEFT
大模型参数高效微调技术实战（四）-Prefix Tuning / P-Tuning v2配套代码HuggingFace PEFT
大模型参数高效微调技术实战（五）-LoRA配套代码HuggingFace PEFT
大模型参数高效微调技术实战（六）-IA3配套代码HuggingFace PEFT
大模型微调实战（七）-基于LoRA微调多模态大模型配套代码HuggingFace PEFT
大模型微调实战（八）-使用INT8/FP4/NF4微调大模型配套代码PEFT、bitsandbytes

⬆ 一键返回目录

LLM分布式训练并行技术

近年来，随着Transformer、MOE架构的提出，使得深度学习模型轻松突破上万亿规模参数，传统的单机单卡模式已经无法满足超大模型进行训练的要求。因此，我们需要基于单机多卡、甚至是多机多卡进行分布式大模型的训练。

而利用AI集群，使深度学习算法更好地从大量数据中高效地训练出性能优良的大模型是分布式机器学习的首要目标。为了实现该目标，一般需要根据硬件资源与数据/模型规模的匹配情况，考虑对计算任务、训练数据和模型进行划分，从而进行分布式训练。因此，分布式训练相关技术值得我们进行深入分析其背后的机理。

下面主要对大模型进行分布式训练的并行技术进行讲解，本系列大体分九篇文章进行讲解。

⬆ 一键返回目录

分布式AI框架

分布式训练网络通信

待更新...

LLM训练优化技术

LLM对齐技术

⬆ 一键返回目录

LLM推理

LLM推理框架

LLM推理优化技术

LLM压缩

近年来，随着Transformer、MOE架构的提出，使得深度学习模型轻松突破上万亿规模参数，从而导致模型变得越来越大，因此，我们需要一些大模型压缩技术来降低模型部署的成本，并提升模型的推理性能。 模型压缩主要分为如下几类：

LLM量化

本系列将针对一些常见大模型量化方案（GPTQ、LLM.int8()、SmoothQuant、AWQ等）进行讲述。

LLM剪枝

目前，大多数针对大模型模型的压缩技术都专注于模型量化领域，即降低单个权重的数值表示的精度。另一种模型压缩方法模型剪枝的研究相对较少，即删除网络元素，包括从单个权重（非结构化剪枝）到更高粒度的组件，如权重矩阵的整行/列（结构化剪枝）。

本系列将针对一些常见大模型剪枝方案（LLM-Pruner、SliceGPT、SparseGPT、Wanda等）进行讲述。

结构化剪枝：

非结构化剪枝：

LLM知识蒸馏

Standard KD:

使学生模型学习教师模型(LLM)所拥有的常见知识，如输出分布和特征信息，这种方法类似于传统的KD。

EA-based KD:

不仅仅是将LLM的常见知识转移到学生模型中，还涵盖了蒸馏它们独特的涌现能力。具体来说，EA-based KD又分为了上下文学习（ICL）、思维链（CoT）和指令跟随（IF）。

In-Context Learning：

Chain-of-Thought：

Instruction Following：

低秩分解

低秩分解旨在通过将给定的权重矩阵分解成两个或多个较小维度的矩阵，从而对其进行近似。低秩分解背后的核心思想是找到一个大的权重矩阵W的分解，得到两个矩阵U和V，使得W≈U V，其中U是一个m×k矩阵，V是一个k×n矩阵，其中k远小于m和n。U和V的乘积近似于原始的权重矩阵，从而大幅减少了参数数量和计算开销。

在LLM研究的模型压缩领域，研究人员通常将多种技术与低秩分解相结合，包括修剪、量化等。

LLM测评

<table align="center"> <tbody> <tr align="center" valign="bottom"> <td> <b>语言</b> </td> <td> <b>知识</b> </td> <td> <b>推理</b> </td> <td> <b>考试</b> </td> </tr> <tr valign="top"> <td> <details open> <summary><b>字词释义</b></summary> </details> <details open> <summary><b>成语习语</b></summary> </details> <details open> <summary><b>语义相似度</b></summary> </details> <details open> <summary><b>指代消解</b></summary> </details> <details open> <summary><b>翻译</b></summary> </details> <details open> <summary><b>多语种问答</b></summary> </details> <details open> <summary><b>多语种总结</b></summary> </details> </td> <td> <details open> <summary><b>知识问答</b></summary> </details> </td> <td> <details open> <summary><b>文本蕴含</b></summary> </details> <details open> <summary><b>常识推理</b></summary> </details> <details open> <summary><b>数学推理</b></summary> </details> <details open> <summary><b>定理应用</b></summary> </details> <details open> <summary><b>综合推理</b></summary> </details> </td> <td> <details open> <summary><b>初中/高中/大学/职业考试</b></summary> </details> <details open> <summary><b>医学考试</b></summary> </details> </td> </tr> </td> </tr> </tbody> <tbody> <tr align="center" valign="bottom"> <td> <b>理解</b> </td> <td> <b>长文本</b> </td> <td> <b>安全</b> </td> <td> <b>代码</b> </td> </tr> <tr valign="top"> <td> <details open> <summary><b>阅读理解</b></summary> </details> <details open> <summary><b>内容总结</b></summary> </details> <details open> <summary><b>内容分析</b></summary> </details> </td> <td> <details open> <summary><b>长文本理解</b></summary> </details> </td> <td> <details open> <summary><b>安全</b></summary> </details> <details open> <summary><b>健壮性</b></summary> </details> </td> <td> <details open> <summary><b>代码</b></summary> </details> </td> </tr> </td> </tr> </tbody> </table>

LLM数据工程

LLM Data Engineering

预训练语料处理技术

llm-pretrain-pipeline

LLM微调高效数据筛选技术

提示工程

LLM算法架构

llm-famliy

llm-famliy

LLM应用开发

大模型是基座，要想让其变成一款产品，我们还需要一些其他相关的技术，比如：向量数据库（Pinecone、Milvus、Vespa、Weaviate），LangChain等。

LLM国产化适配

随着 ChatGPT 的现象级走红，引领了AI大模型时代的变革，从而导致 AI 算力日益紧缺。与此同时，中美贸易战以及美国对华进行AI芯片相关的制裁导致 AI 算力的国产化适配势在必行。本系列将对一些国产化 AI 加速卡进行讲解。

⬆ 一键返回目录

AI编译器

AI编译器是指将机器学习算法从开发阶段，通过变换和优化算法，使其变成部署状态。

框架：

AI基础设施

AI加速卡

AI集群

待更新...

AI集群网络通信

待更新...

LLMOps

LLM生态相关技术

LLM面试题

正在收集中...

⬆ 一键返回目录

服务器基础环境安装及常用工具

基础环境安装：

常用工具：

LLM学习交流群

我创建了大模型相关的学习交流群，供大家一起学习交流大模型相关的最新技术，目前已有5个群，每个群都有上百人的规模，可加我微信进群（加微信请备注来意，如：进大模型学习交流群+GitHub，进大模型推理加速交流群+GitHub、进大模型应用开发交流群+GitHub、进大模型校招交流群+GitHub等）。一定要备注哟，否则不予通过。

PS：成都有个本地大模型交流群，想进可以另外单独备注下。

<p align="center"> <img src="https://github.com/liguodongiot/llm-action/blob/main/pic/wx.jpg"> </p>

微信公众号

微信公众号：吃果冻不吐果冻皮，该公众号主要分享AI工程化（大模型、MLOps等）相关实践经验，免费电子书籍、论文等。

<p align="center"> <img src="https://github.com/liguodongiot/llm-action/blob/main/pic/wx-gzh.png" > </p>

⬆ 一键返回目录

Star History

Star History Chart

AI工程化课程推荐

如今人工智能的发展可谓是如火如荼，ChatGPT、Sora、文心一言等AI大模型如雨后春笋般纷纷涌现。AI大模型优势在于它能处理复杂性问题；因此，越来越多的企业需要具备AI算法设计、AI应用开发、模型推理加速及模型压缩等AI工程化落地的能力。这就导致行业内的工程师，需要快速提升自身的技术栈，以便于在行业内站稳脚跟。我在llm-resource 和 ai-system梳理了一些大模型和AI工程化相关资料，同时，推荐一些AI工程化相关的课程，点击查看详情。