# Technical Documentation: datawhalechina/self-llm > ℹ️ **Provenance:** Multi-Tier Ingestion · [CodeWiki Reference](https://codewiki.google/github.com/datawhalechina/self-llm) ### Overview (README.md)

开源大模型食用指南

中文 | [English](./README_en.md)
  本项目是一个围绕开源大模型、针对国内初学者、基于 Linux 平台的中国宝宝专属大模型教程，针对各类开源大模型提供包括环境配置、本地部署、高效微调等技能在内的全流程指导，简化开源大模型的部署、使用和应用流程，让更多的普通学生、研究者更好地使用开源大模型，帮助开源、自由的大模型更快融入到普通学习者的生活中。   本项目的主要内容包括： 1. 基于 Linux 平台的开源 LLM 环境配置指南，针对不同模型要求提供不同的详细环境配置步骤； 2. 针对国内外主流开源 LLM 的部署使用教程，包括 LLaMA、ChatGLM、InternLM 等； 3. 开源 LLM 的部署应用指导，包括命令行调用、在线 Demo 部署、LangChain 框架集成等； 4. 开源 LLM 的全量微调、高效微调方法，包括分布式全量微调、LoRA、ptuning 等。   **项目的主要内容就是教程，让更多的学生和未来的从业者了解和熟悉开源大模型的食用方法！任何人都可以提出issue或是提交PR，共同构建维护这个项目。**   想要深度参与的同学可以联系我们，我们会将你加入到项目的维护者中。 >   ***学习建议：本项目的学习建议是，先学习环境配置，然后再学习模型的部署使用，最后再学习微调。因为环境配置是基础，模型的部署使用是基础，微调是进阶。初学者可以选择Qwen1.5，InternLM2，MiniCPM等模型优先学习。*** >   **进阶学习推荐** ：如果您在学习完本项目后，希望更深入地理解大语言模型的核心原理，并渴望亲手从零开始训练属于自己的大模型，我们强烈推荐关注 Datawhale 的另一个开源项目—— [Happy-LLM 从零开始的大语言模型原理与实践教程](https://github.com/datawhalechina/happy-llm) 。该项目将带您深入探索大模型的底层机制，掌握完整的训练流程。 > 注：如果有同学希望了解大模型的模型构成，以及从零手写RAG、Agent和Eval等任务，可以学习Datawhale的另一个项目[Tiny-Universe](https://github.com/datawhalechina/tiny-universe)，大模型是当下深度学习领域的热点，但现有的大部分大模型教程只在于教给大家如何调用api完成大模型的应用，而很少有人能够从原理层面讲清楚模型结构、RAG、Agent 以及 Eval。所以该仓库会提供全部手写，不采用调用api的形式，完成大模型的 RAG 、 Agent 、Eval 任务。 > 注：考虑到有同学希望在学习本项目之前，希望学习大模型的理论部分，如果想要进一步深入学习 LLM 的理论基础，并在理论的基础上进一步认识、应用 LLM，可以参考 Datawhale 的 [so-large-llm](https://github.com/datawhalechina/so-large-lm.git)课程。 > 注：如果有同学在学习本课程之后，想要自己动手开发大模型应用。同学们可以参考 Datawhale 的 [动手学大模型应用开发](https://github.com/datawhalechina/llm-universe) 课程，该项目是一个面向小白开发者的大模型应用开发教程，旨在基于阿里云服务器，结合个人知识库助手项目，向同学们完整的呈现大模型应用开发流程。 ## 项目意义   什么是大模型？ >大模型（LLM）狭义上指基于深度学习算法进行训练的自然语言处理（NLP）模型，主要应用于自然语言理解和生成等领域，广义上还包括机器视觉（CV）大模型、多模态大模型和科学计算大模型等。   百模大战正值火热，开源 LLM 层出不穷。如今国内外已经涌现了众多优秀开源 LLM，国外如 LLaMA、Alpaca，国内如 ChatGLM、BaiChuan、InternLM（书生·浦语）等。开源 LLM 支持用户本地部署、私域微调，每一个人都可以在开源 LLM 的基础上打造专属于自己的独特大模型。   然而，当前普通学生和用户想要使用这些大模型，需要具备一定的技术能力，才能完成模型的部署和使用。对于层出不穷又各有特色的开源 LLM，想要快速掌握一个开源 LLM 的应用方法，是一项比较有挑战的任务。   本项目旨在首先基于核心贡献者的经验，实现国内外主流开源 LLM 的部署、使用与微调教程；在实现主流 LLM 的相关部分之后，我们希望充分聚集共创者，一起丰富这个开源 LLM 的世界，打造更多、更全面特色 LLM 的教程。星火点点，汇聚成海。   ***我们希望成为 LLM 与普罗大众的阶梯，以自由、平等的开源精神，拥抱更恢弘而辽阔的 LLM 世界。*** ## 项目受众   本项目适合以下学习者： * 想要使用或体验 LLM，但无条件获得或使用相关 API； * 希望长期、低成本、大量应用 LLM； * 对开源 LLM 感兴趣，想要亲自上手开源 LLM； * NLP 在学，希望进一步学习 LLM； * 希望结合开源 LLM，打造领域特色的私域 LLM； * 以及最广大、最普通的学生群体。 ## 项目规划及进展    本项目拟围绕开源 LLM 应用全流程组织，包括环境配置及使用、部署应用、微调等，每个部分覆盖主流及特点开源 LLM： ### Example 系列 - [Chat-嬛嬛](./examples/Chat-嬛嬛/readme.md)： Chat-甄嬛是利用《甄嬛传》剧本中所有关于甄嬛的台词和语句，基于LLM进行LoRA微调得到的模仿甄嬛语气的聊天语言模型。 - [Tianji-天机](./examples/Tianji-天机/readme.md)：天机是一款基于人情世故社交场景，涵盖提示词工程 、智能体制作、 数据获取与模型微调、RAG 数据清洗与使用等全流程的大语言模型系统应用教程。 - [AMChat](./examples/AMchat-高等数学/readme.md): AM (Advanced Mathematics) chat 是一个集成了数学知识和高等数学习题及其解答的大语言模型。该模型使用 Math 和高等数学习题及其解析融合的数据集，基于 InternLM2-Math-7B 模型，通过 xtuner 微调，专门设计用于解答高等数学问题。 - [数字生命](./examples/数字生命/readme.md): 本项目将以我为原型，利用特制的数据集对大语言模型进行微调，致力于创造一个能够真正反映我的个性特征的AI数字人——包括但不限于我的语气、表达方式和思维模式等等，因此无论是日常聊天还是分享心情，它都以一种既熟悉又舒适的方式交流，仿佛我在他们身边一样。整个流程是可迁移复制的，亮点是数据集的制作。 ### 已支持模型

✨ 已支持 50+ 主流大语言模型 ✨
每个模型都提供完整的部署、微调和使用教程
📖 查看完整模型列表和教程 | 🎯 快速开始

• MiniCPM5
• Qwen3.5
• Kimi-K2.5
• Step-3.5-Flash
• GLM-4.7-Flash
• GLM-5.2
• Gemma3
• MiniMax-M3
• MiniMax-M2.7
• MiniMax-M2.5
• MiniMax-M2
• Qwen3
• Qwen3-VL
• SpatialLM
• Hunyuan3D-2
• Qwen2-VL 		• MiniCPM-o
• Qwen2.5-Coder
• DeepSeek-Coder-V2
• gpt-oss-20b
• GLM-4.1-Thinking
• DeepSeek-R1
• InternLM3
• phi4
• GLM-4.5-Air
• Hunyuan-A13B
• DeepSeek
• Baichuan
• InternLM
• Kimi 		• ERNIE-4.5
• Llama4
• Apple OpenELM
• Llama3.1
• Gemma-2
• Qwen2.5
• Qwen2
• GLM-4
• Qwen 1.5
• phi-3
• MiniCPM
• Yi 零一万物
• Yuan2.0
• Yuan2.0-M32 		• 哔哩哔哩 Index
• CharacterGLM
• BlueLM
• Qwen-Audio
• TransNormerLLM
• Atom
• ChatGLM3
• Qwen2-57B-A14B-Instruct
• Qwen2-72B-Instruct
• Qwen2-7B-Instruct
• InternLM2-20B
• Tele-Chat
• XVERSE2
### AMD GPU 专区

ROCm     AMD University Program

🚀 AMD GPU 平台已支持模型
每个模型都提供完整的 ROCm 环境配置与部署教程（LM Studio / vLLM / Ollama / llama.cpp）
感谢 AMD University Program（AMD 大学计划）对本项目的支持
📖 查看完整 AMD 平台模型列表和教程
📘 进阶学习推荐：hello-rocm（Datawhale ROCm 部署 / 微调 / 基础设施完整教程）

• 谷歌 Gemma4
• ROCm 7 环境准备
• LM Studio / vLLM / Ollama / llama.cpp 		• Qwen3.5
• ROCm 7 环境准备
• LM Studio / vLLM / Ollama / llama.cpp
### 昇腾Ascend NPU 专区

🚀 昇腾Ascend NPU 平台已支持模型
每个模型都提供完整的昇腾Ascend NPU 环境配置和部署教程
📖 查看完整昇腾 NPU 平台模型列表和教程

• Qwen3.6
• vLLM-ascend 部署调用 		• Qwen3
• Ascend NPU 环境配置通用指南
• MindIE 服务化部署调用
• vLLM-ascend 部署调用
• sglang-ascend 部署调用 		• 大模型服务化性能和精度测试
• AISBench 测试工具环境配置
• 昇腾大模型服务化性能测试
• 昇腾大模型服务化精度测试
### 沐曦专区

Coming Soon!

### Apple M 专区

📖 点击跳转 Apple M 专区

### Welcome More Platforms! - 🚀 即将支持更多平台（Apple M 系列已有设备测试），敬请期待！ - 🤝 欢迎昇腾 Ascend、摩尔线程 MUSA、沐曦等平台提供技术支持、硬件支持或参与贡献 - 🌟 欢迎各平台开发者共建共享，推动大模型技术在更多国产硬件生态中的繁荣发展！ ## 致谢 ### 核心贡献者 - [宋志学(不要葱姜蒜)-项目负责人](https://github.com/KMnO4-zx) （Datawhale成员） - [邹雨衡-项目负责人](https://github.com/logan-zou) （Datawhale成员-对外经济贸易大学） - [刘十一-Ascend专区负责人](https://github.com/Zhiwen-Liu)（Datawhale成员-鲸英助教） - [姜舒凡](https://github.com/Tsumugii24)（内容创作者-Datawhale成员） - [郭宣伯](https://github.com/Twosugar666)（内容创作者-北京航空航天大学） - [林泽毅](https://github.com/Zeyi-Lin)（内容创作者-SwanLab产品负责人） - [林恒宇](https://github.com/LINHYYY)（内容创作者-广东东软学院-鲸英助教） - [王泽宇](https://github.com/moyitech)（内容创作者-太原理工大学-鲸英助教） - [郭志航](https://github.com/acwwt)（内容创作者） - [陈榆](https://github.com/LucaChen)（内容创作者-谷歌开发者机器学习技术专家） - [肖鸿儒](https://github.com/Hongru0306) （Datawhale成员-同济大学） - [张帆](https://github.com/zhangfanTJU)（内容创作者-Datawhale成员） - [李娇娇](https://github.com/Aphasia0515) （Datawhale成员） - [高立业](https://github.com/0-yy-0)（内容创作者-DataWhale成员） - [Kailigithub](https://github.com/Kailigithub) （Datawhale成员） - [丁悦](https://github.com/dingyue772) （Datawhale-鲸英助教） - [谢好冉](https://github.com/ilovexsir)（内容创作者-鲸英助教） - [惠佳豪](https://github.com/L4HeyXiao) （Datawhale-宣传大使） - [王茂霖](https://github.com/mlw67)（内容创作者-Datawhale成员） - [孙健壮](https://github.com/Caleb-Sun-jz)（内容创作者-对外经济贸易大学） - [郑皓桦](https://github.com/BaiYu96) （内容创作者） - [荞麦](https://github.com/yeyeyeyeeeee)（内容创作者-Datawhale成员） - [骆秀韬](https://github.com/anine09)（内容创作者-Datawhale成员-似然实验室） - [李柯辰](https://github.com/Joe-2002) （Datawhale成员） - [程宏](https://github.com/chg0901)（内容创作者-Datawhale意向成员） - [李秀奇](https://github.com/li-xiu-qi)（内容创作者-DataWhale意向成员） - [余洋](https://github.com/YangYu-NUAA)（内容创作者-安徽理工大学副教授-Datawhale成员） - [陈思州](https://github.com/jjyaoao) （Datawhale成员） - [颜鑫](https://github.com/thomas-yanxin) （Datawhale成员） - [杜森](https://github.com/study520ai520)（内容创作者-Datawhale成员-南阳理工学院） - [散步](https://github.com/sanbuphy) （Datawhale成员） - [郑远婧](https://github.com/isaacahahah)（内容创作者-鲸英助教-福州大学） - [Swiftie](https://github.com/cswangxiaowei) （小米NLP算法工程师） - [张友东](https://github.com/AXYZdong)（内容创作者-Datawhale成员） - [张晋](https://github.com/Jin-Zhang-Yaoguang)（内容创作者-Datawhale成员） - [娄天奥](https://github.com/lta155)（内容创作者-中国科学院大学-鲸英助教） - [小罗](https://github.com/lyj11111111) （内容创作者-Datawhale成员） - [邓恺俊](https://github.com/Kedreamix)（内容创作者-Datawhale成员） - [赵文恺](https://github.com/XiLinky)（内容创作者-太原理工大学-鲸英助教） - [王熠明](https://github.com/Bald0Wang)（内容创作者-Datawhale成员） - [黄柏特](https://github.com/KashiwaByte)（内容创作者-西安电子科技大学） - [左春生](https://github.com/LinChentang)（内容创作者-Datawhale成员） - [杨卓](https://github.com/little1d)（内容创作者-西安电子科技大学-鲸英助教） - [付志远](https://github.com/comfzy)（内容创作者-海南大学） - [三水](https://github.com/sssanssss)（内容创作者-鲸英助教） - [樊奇](https://github.com/fanqiNO1)（内容创作者-上海交通大学） - [陈辅元](https://github.com/Fyuan0206)（内容创作者-Datawhale成员） - [谭逸珂](https://github.com/LikeGiver)（内容创作者-对外经济贸易大学） - [何至轩](https://github.com/pod2c)（内容创作者-鲸英助教） - [康婧淇](https://github.com/jodie-kang)（内容创作者-Datawhale成员） - [杨晨旭](https://github.com/langlibai66)（内容创作者-太原理工大学-鲸英助教） - [赵伟](https://github.com/2710932616)（内容创作者-鲸英助教） - [苏向标](https://github.com/gzhuuser)（内容创作者-广州大学-鲸英助教） - [陈睿](https://github.com/riannyway)（内容创作者-西交利物浦大学-鲸英助教） - [张龙斐](https://github.com/Feimike09)（内容创作者-鲸英助教） - [孙超](https://github.com/anarchysaiko)（内容创作者-Datawhale成员） - [卓堂越](https://github.com/nusakom)（内容创作者-鲸英助教） - [fancy](https://github.com/fancyboi999)（内容创作者-鲸英助教） - [谭斐然](https://github.com/frtanxidian)（西安电子科技大学-鲸英助教） > 注：排名根据贡献程度排序 ### 其他 - 特别感谢[@Sm1les](https://github.com/Sm1les)对本项目的帮助与支持 - 部分lora代码和讲解参考仓库：https://github.com/zyds/transformers-code.git - 如果有任何想法可以联系我们 DataWhale 也欢迎大家多多提出 issue - 特别感谢以下为教程做出贡献的同学！

感谢 AMD University Program（AMD 大学计划）对本项目的支持
ROCm     AMD University Program

### Star History
--- ### Models Mlx Docs MLX LM Intro (`models_mlx/docs/MLX-LM_Intro.md`) MLX 是由苹果公司发布的在 Apple Silicon 芯片上的深度学习框架。与 PyTorch 等传统框架不同，MLX 充分利用了 Apple M 系列芯片的硬件优势，将将数据维护在共享内存中，不需要频繁地在 CPU 和 GPU 之间传输数据，这样的共享内存架构大大提升了模型推理的效率。 ## 与 vLLM 的区别 MLX-LM 是基于 MLX 框架构建的用于大模型推理的库，支持多种大语言模型（LLM）的部署和使用。通过 MLX-LM，用户可以在搭载 Apple M 系列芯片的设备上高效地运行大模型，实现本地推理。相比于 vLLM 等推理框架，架构区别如下所示： ```bash # vLLM 架构示意图 ┌───────────────────────────────┐ │ 应用层 / 服务层 │ │ OpenAI-compatible API │ │ (chat / completions) │ └───────────────▲───────────────┘ │ ┌───────────────┴───────────────┐ │ vLLM │ │ - Continuous Batching │ │ - PagedAttention (KV Cache) │ │ - 高并发 / 高吞吐 │ └───────────────▲───────────────┘ │ ┌───────────────┴───────────────┐ │ CUDA / Triton / NCCL │ └───────────────▲───────────────┘ │ ┌───────────────┴───────────────┐ │ NVIDIA GPU │ │ A100 / H100 / RTX │ │ 独立显存 (HBM / GDDR) │ └───────────────────────────────┘ ``` ```bash # MLX-LM 架构示意图 ┌───────────────────────────────┐ │ 用户接口层 │ │ CLI / Chat / Script │ │ (mlx_lm.generate / chat) │ └───────────────▲───────────────┘ │ ┌───────────────┴───────────────┐ │ mlx-lm │ │ - 模型封装 │ │ - 4bit / 8bit 推理 │ │ - 单用户 / 本地 │ └───────────────▲───────────────┘ │ ┌───────────────┴───────────────┐ │ MLX │ │ - Tensor / Autograd │ │ - Metal 后端 │ └───────────────▲───────────────┘ │ ┌───────────────┴───────────────┐ │ Apple Silicon │ │ CPU + GPU + NPU │ │ Unified Memory (统一内存) │ └───────────────────────────────┘ ``` 可以看到，vLLM 主要针对 NVIDIA GPU 进行优化，适合高并发和高吞吐的场景，而 MLX-LM 则充分利用了 Apple Silicon 的统一内存架构，适合单用户的本地推理需求。在 Apple M 系列芯片上使用 MLX-LM，可以实现高效的大模型推理体验。 具体使用差异对比如下表所示： | 特性 | vLLM | MLX-LM | |--------------------|-------------------------------|-------------------------------| | 目标硬件 | NVIDIA GPU | Apple M 系列芯片 | | 内存架构 | 独立显存 (HBM / GDDR) | 统一内存 (Unified Memory) | | 并发支持 | 高并发 / 高吞吐 | 单用户 / 本地 | | 模型量化 | 支持，但需自行实现 | 原生支持 4bit / 8bit 推理 | | 框架依赖 | CUDA / Triton / NCCL | MLX (Metal 后端) | | 使用复杂度 | 较高，需要配置环境和依赖 | 较低，适合本地快速部署 | ## 与 CPU 调用对比 我们在1台 M3 MAX 芯片、内存 64G的 MackBook Pro笔记本上分别用CPU和MLX框架调用Qwen3-8B模型(对应脚本路径分别为`models_mlx/qwen3/Qwen3_mlx.py`和`models_mlx/qwen3/Qwen3_transformers.py`)，得出结果分别如下：
图 1 Qwen3-8B模型CPU部署效果
图 2 Qwen3-8B模型MLX框架部署效果
可以看到无论是生成速度还是消耗的峰值内存方面，MLX框架都要明显优于纯CPU调用 --- --- METRICS --- - Files Extracted: 2 - Estimated Token Budget: ~4223 tokens - Canonical Reference: https://codewiki.google/github.com/datawhalechina/self-llm