• 人工智能
• 大模型
• 教程
• 文档
• 教育
• 预训练
• 微调
• LoRA

【免费下载链接】learn-minimind

📖 从零基础到面试通关 —— 22节课彻底搞懂大语言模型 | Learn MiniMind: 系统化学习LLM训练全流程

项目地址： https://gitcode.com/gh_mirrors/le/learn-minimind

点击查看 免费下载

文章基于开源项目 learn-minimind（系统化学习LLM训练全流程的教程仓库）整理。当你跟随 docs/L01-什么是大语言模型.md 走完学习路径、亲手理解并训练出一个 64M 参数的 MiniMind 模型后，下一个问题就是：如何把模型真正跑起来、用起来、部署到生产环境？ 本文就是答案——一篇覆盖格式转换、ollama / vLLM / llama.cpp 三大部署路线、OpenAI 兼容 API、Tool Calling 与推理优化的完整教程。

---

🎯 为什么部署是"最后一公里"？

大模型项目往往死在两处：一是训练不出来，二是部署不上线。

在 learn-minimind 的课程路线图中，docs/L20-推理优化.md 和 docs/L21-部署与应用.md 正是"从实验室走向生产"的最后一公里。官方用一张冒险地图概括了全流程——从分词岛出发，穿越预训练山、SFT 桥、LoRA 特快、DPO 山谷，最终目的地就是 "部署市（最终交付）"：

本文将带你走完部署全流程：

PyTorch 权重 (.pth)  →  格式转换  →  选择推理引擎  →  API/WebUI 应用  →  生产上线

---

一、模型格式转换：部署前的第一道坎

模型训练完只是拿到了 .pth 权重文件，但每个推理框架都有"自己的方言"。MiniMind 的标准转换路径是：

PyTorch (.pth) → Transformers (HuggingFace 格式) → GGUF (llama.cpp / ollama 格式)

• Transformers 格式：包含 config.json、model.safetensors、tokenizer.json 等，是 vLLM 等生态的标准入口；
• GGUF 格式：llama.cpp 定义的统一格式，一个文件内嵌权重、配置与分词器，支持 mmap 快速加载，是 CPU 推理和 ollama 的"通用护照"。

转换完成后，还可以进一步量化压缩。常见量化级别选择参考（详见 docs/L21-部署与应用.md）：

量化格式	每参数据位	精度损失	适用场景
F16	16 bit	无	精度优先
Q8_0	8 bit	极小	平衡
Q5_K_M	~5.5 bit	小	推荐
Q4_K_M	~4.5 bit	中等	速度/显存优先

💡 经验法则：显存紧张选 Q4_K_M，追求质量选 Q5_K_M，两者在 64M~几 B 量级的小模型上效果损失都很小。

---

二、三大部署路线：总有一条适合你

路线 1：ollama —— 一条命令的本地部署

ollama 的哲学是"像 Docker 一样跑大模型"。MiniMind 已上传到 ollama 模型库，本地部署只需：

ollama run jingyaogong/minimind-3

模型自动下载、自动启动对话界面，开箱即用。它还自带 REST API（默认 localhost:11434），方便本地脚本调用，是个人学习与快速原型的首选。

路线 2：vLLM —— 高并发的 GPU 生产服务

vLLM 是专为服务端设计的推理引擎，两大核心技术：

1. PagedAttention：像操作系统管理虚拟内存一样，把 KV-Cache 分页管理，消除内存碎片，显存利用率大幅提升；
2. Continuous Batching（连续批处理）：新请求随时插入正在处理的批次，不用等整批跑完，吞吐量比朴素实现快 2~24 倍。

启动命令（需 Transformers 格式模型）：

pip install vllm
python -m vllm.entrypoints.openai.api_server --model minimind-hf/ --port 8000

启动后即提供 OpenAI 兼容 API，现有 OpenAI 客户端改一行 base_url 即可无缝切换——这是它能上生产的根本原因。

路线 3：llama.cpp —— 纯 CPU 的边缘部署

没有 GPU 也能跑大模型。llama.cpp 用 C/C++ 实现，跨平台（Linux / macOS / Windows / Android），配合 GGUF 量化文件即可在普通笔记本上运行：

./llama-cli -m minimind-Q4_K_M.gguf -p "请介绍一下人工智能" --temp 0.7

它是边缘设备、移动端、低资源环境的不二之选。

⚖️ 三者怎么选？一张表说清

维度	ollama	vLLM	llama.cpp
上手难度	★ 极简	中等	中等
硬件需求	CPU/GPU 均可	GPU	CPU 优先
并发能力	一般	极强	较弱
典型场景	个人本地、原型	高并发服务端	端侧 / 轻量部署

---

三、接入应用层：让模型真正"可用"

部署起来只是开始，接入应用才产生价值。MiniMind 提供了四层开箱能力：

1️⃣ OpenAI 兼容 API（serve_openai_api.py）

FastAPI 实现的 /v1/chat/completions 服务，任何支持 OpenAI 接口的客户端、框架都能直接连：

python serve_openai_api.py --model_path out/minimind --port 8080

这意味着你可以把 MiniMind 一键接入 FastGPT（知识库问答）、Open-WebUI（ChatGPT 风格界面） 等第三方应用，配置里填上 http://localhost:8080/v1 即可。

2️⃣ Streamlit WebUI

一条命令拉起可交互的对话页面：

streamlit run web_demo.py

浏览器打开 http://localhost:8501，即可体验会话历史保持、流式展示的完整聊天界面，适合快速演示与调试。

3️⃣ Tool Calling：让模型会"用工具"

这是大模型走向生产的关键能力。MiniMind 通过特殊标签实现结构化工具调用：

用户：帮我查一下北京的天气
模型输出：

• 人工智能
• 大模型
• 教程
• 文档
• 教育
• 预训练
• 微调
• LoRA

【免费下载链接】learn-minimind

📖 从零基础到面试通关 —— 22节课彻底搞懂大语言模型 | Learn MiniMind: 系统化学习LLM训练全流程

项目地址： https://gitcode.com/gh_mirrors/le/learn-minimind

点击查看 免费下载