Awesome
LLM-Travel
Introduction
欢迎来到 "LLM-travel" 仓库！探索大语言模型（LLM）的奥秘 🚀。致力于深入理解、探讨以及实现与大模型相关的各种技术、原理和应用。 文章在知乎：https://www.zhihu.com/people/allenvery/posts
这里会有什么 🌟
-
技术讲解: 通过清晰且深入的文章，尽力揭示大语言模型的相关技术，探讨其背后的数学、算法和架构，帮助您理解它们的运作机制。
-
实用代码实现: 每篇实践性技术文章会配置相应的实践代码，帮助更好的理解和实现。
-
解答疑问与讨论: 欢迎提出问题、分享想法，以及想看到哪些内容，一起探讨大语言模型！
加入旅程 🌏
搭乘 "LLM-travel" 列车，一起探索大语言模型的奇妙世界！
已更新内容
| Date | Title(知乎链接) | Code | Note |
|---|---|---|---|
| 2024-06-23 | LLM大模型之Hallucination幻觉 | 无 | LLM大模型之Hallucination幻觉 |
| 2024-06-03 | LLM大模型之分布式训练小结 | 无 | LLM大模型之分布式训练小结 |
| 2024-05-10 | LLM大模型之训练优化方法 | 无 | LLM大模型之训练优化方法 |
| 2024-04-09 | Transformer实践 | Transformer_torch | Transformer实践 |
| 2023-12-16 | LLM之Deepspeed实践 | 无 | Deepspeed实践 |
| 2023-11-11 | LLM之数据质量 | quality_hash.ipynb | LLM大模型之大规模数据文本质量(Text Quality)实践一 |
| 2023-11-04 | LLM之Trainer | 无 | LLM大模型之Trainer以及训练参数 |
| 2023-10-14 | LLM之数据处理二 | 无 | LLM大模型之大规模数据处理工具篇Hadoop-Spark集群安装 |
| 2023-10-10 | LLM之开源数据整理 | LLM_Pretrain_Datasets | 开源的可用于LLM Pretrain数据集 |
| 2023-10-10 | LLM之数据处理一 | 无 | LLM大模型之大规模数据处理工具篇Hadoop-Spark集群介绍 |
| 2023-09-30 | LLM之显存占用 | memory_precision.ipynb | 不同精度下显存占用与相互转换实践 |
| 2023-09-29 | LLM之精度问题详解 | precision.ipynb | 精度问题（FP16，FP32，BF16）详解与实践 |
| 2023-09-24 | LLM之Embedding初始化 | embedding_init.ipynb | 扩充词表后Embedding和LM_head层的初始化 |
| 2023-09-23 | LLM之扩充词表 | sentencepiece.ipynb | 基于SentencePiece扩充LLaMa中文词表实践 |
| 2023-09-16 | LLM之Generate参数详解 | generate_parameter.ipynb | Generate/Inference（生成/推理）中参数与解码策略原理及其代码实现 |
| 2023-09-09 | LLM之Tokenization分词方法 | tokenization.ipynb | WordPiece，Byte-Pair Encoding (BPE)，Byte-level BPE(BBPE)原理及其代码实现 |