Awesome
MiniCPM-Cookbook
<div align="center"> <img src="./asset/logo.png" width="500em" ></img>本仓库是MiniCPM端侧系列模型的使用指南，包括推理、量化、边端部署、微调、应用、技术报告六个主题。
</div> <p align="center"> <a href="https://github.com/OpenBMB" target="_blank">MiniCPM 仓库</a> | <a href="https://github.com/OpenBMB/MiniCPM-V/" target="_blank">MiniCPM-V 仓库</a> | <a href="https://modelbest.feishu.cn/wiki/D2tFw8Pcsi5CIzkaHNacLK64npg" target="_blank">MiniCPM系列 知识库</a> | <a href="./README_en.md" target="_blank">English Readme</a> | 加入我们的 <a href="https://discord.gg/3cGQn9b3YM" target="_blank">discord</a> 和 <a href="./asset/weixin.png" target="_blank">微信群</a> </p>目录和内容
关于MiniCPM(✅)
面壁「小钢炮」MiniCPM 端侧大模型系列，是由面壁智能（ModelBest）联合OpenBMB开源社区和清华NLP实验室开源的轻量高性能端侧大模型。包含基座模型MiniCPM和多模态模型MiniCPM-V双旗舰，凭借以小博大、高效低成本的特性享誉全球。目前已经在性能上开启「端侧ChatGPT时刻」；多模态方向达到全面对标GPT-4V级水平，实现实时视频、多图联合理解首次上端。目前，正在落地于手机、电脑、汽车、可穿戴设备、VR等智能终端场景中。更多关于面壁小钢炮MiniCPM系列的详细信息，请访OpenBMB页面。
应用精选(✅)
语言模型
多模态模型
技术报告(✅)
- MiniCPM 语言模型技术报告_正式
- MiniCPM-V 多模态模型技术报告_正式
- MiniCPM 注意力机制进化历程_解读
- MiniCPM-V 多模态模型架构原理介绍_解读
- MiniCPM-V 多模态高清解码原理_解读
支持硬件（云端、边端）(✅)
- GPU
- CPU
- NPU
- Android
- Mac
- Windows
- ios
模型地址与下载（部分）(✅)
推理部署(✅)
MiniCPM 2.4B
- MiniCPM 2.4B_transformers_cuda
- MiniCPM 2.4B_vllm_cuda
- MiniCPM 2.4B__mlx_mac
- MiniCPM 2.4B_ollama_cuda_cpu_mac
- MiniCPM 2.4B_llamacpp_cuda_cpu
- MiniCPM 2.4B_llamacpp_android
MiniCPM-S 1.2B
MiniCPM 3.0
- MiniCPM 3.0_vllm_cuda
- MiniCPM 3.0_transformers_cuda_cpu
- MiniCPM 3.0_llamacpp_cuda_cpu
- MiniCPM 3.0_sglang_cuda
MiniCPM-Llama3-V 2.5
- MiniCPM-Llama3-V 2.5_vllm_cuda
- MiniCPM-Llama3-V 2.5_LMdeploy_cuda
- MiniCPM-Llama3-V 2.5_llamacpp_cuda_cpu
- MiniCPM-Llama3-V 2.5_ollama_cuda_cpu
- MiniCPM-Llama3-V 2.5_transformers_cuda
- MiniCPM-Llama3-V 2.5_xinference_cuda
- MiniCPM-Llama3-V 2.5_swift_cuda
MiniCPM-V 2.6
- MiniCPM-V 2.6_vllm_cuda
- MiniCPM-V 2.6_vllm_api_server_cuda
- MiniCPM-V 2.6_llamacpp_cuda_cpu
- MiniCPM-V 2.6_transformers_cuda
- MiniCPM-V 2.6_swift_cuda
微调(✅)
MiniCPM 3.0
MiniCPM 2.4B
MiniCPM-Llama3-V 2.5
MiniCPM-V 2.6
模型量化(✅)
MiniCPM 2.4B
MiniCPM3.0
MiniCPM-Llama3-V 2.5
MiniCPM-V 2.6
集成(✅)
开源社区合作(✅)
- xtuner: MiniCPM高效率微调的不二选择
- LLaMA-Factory：MiniCPM微调一键式解决方案
- ChatLLM框架：在CPU上跑MiniCPM
- datawhale_基于Linux环境快速部署开源大模型，更适合中国宝宝的部署教程
- firefly_大模型训练部署工具
社区共建
秉承开源精神，我们鼓励大家共建本仓库，包括但不限于添加新的MiniCPM教程、分享使用体验、提供生态适配、模型应用等。我们期待开发者们为我们的开源仓库作出贡献。