• 文档
• CANN
• 大模型
• 模型优化
• 人工智能

【免费下载链接】cann-recipes-docs

基于昇腾 NPU 的训推性能优化技术文档

项目地址： https://gitcode.com/cann/cann-recipes-docs

点击查看 免费下载

CANN Recipes 文档库是昇腾 NPU 训推性能优化的统一入口，集中收录推理优化、训练优化、具身智能与 CANN 原子特性（MultiStream、SuperKernel、Prefetch、NPUGraph）四大类技术文档。本文作为一份完整的导航地图，带你一次性看懂仓库的目录结构，快速定位模型优化实践文档，少走弯路。

仓库结构总览：四大目录各管一摊

整个仓库围绕"场景 × 模型"组织，四大一级目录各司其职，整体结构说明见 README.md：

一级目录	主题	里面能找到什么
infer/	推理	大语言模型、多模态生成、推荐系统的推理优化文档
train/	训练	预训练、强化学习（RL）训练优化文档
embodied_ai/	具身智能	3D 视觉、机械臂操作、导航、世界模型优化文档
cann_features/	CANN 原子特性	MultiStream、SuperKernel、Prefetch、NPUGraph 等跨场景公共能力

每个模型目录都遵循 zh/（中文）、en/（英文）、figures/（配图）的固定布局，找文档时认准 zh/ 即可。

推理文档速查：LLM 推理优化一站找全

推理是文档数量最丰富的方向，infer/ 下按 LLM、多模态、推荐系统 三个子场景划分。

大语言模型推理优化文档清单

模型	文档亮点
DeepSeek-R1	Prefill 阶段优化 + Decode 阶段优化
DeepSeek-V3.2-Exp	推理优化实践 + AscendC 融合算子 / PyPTO 算子 / TileLang 算子
DeepSeek-V4	推理优化实践 + AutoFuse 算子融合 / AscendC 算子 / PyPTO 算子 / TileLang 算子 / mHC 融合算子 / SHMEM 通信
GPT-OSS	推理性能优化
Hy3	昇腾 Day-0 适配推理优化
Kimi-K2-Thinking	推理优化实践
Kimi K3	昇腾 NPU 推理优化
LongCat-2.0	推理优化实践
LongCat-Flash	Atlas A3 集群推理优化
Qwen Dense	Atlas A2/A3 推理优化
Qwen3-MoE	低时延推理优化
Qwen3.5-MoE	推理性能优化

以 Kimi-K2-Thinking 为例，Prefill 与 Decode 集群分离部署，注意力与 MoE 分别采用不同的并行切分方式，是典型的集群级推理优化案例：

多模态生成与推荐系统推理优化

多模态方向 infer/multimodal/ 覆盖图像与视频生成模型；推荐系统 infer/recommendation/ 目前有 HSTU 模型实践：

模型	文档
daVinci-MagiHuman	推理优化实践
HunyuanImage-3.0	推理优化实践
HunyuanVideo	推理优化实践
SANA-Video	推理优化实践
Wan2.2-I2V	推理优化实践
HSTU（推荐系统）	NPU 推理优化

HunyuanVideo 视频生成推理优化中，Ulysses 序列并行通过 AllToAll 通信切分注意力头，是多模态生成多卡并行的常见方案：

推荐侧的 HSTU 实践则展示了 KV Offload 与前向计算流式重叠的技巧，降低显存占用的同时隐藏通信开销：

训练文档速查：预训练与强化学习两条线

train/ 目录分为 pretrain（预训练）与 rl（强化学习）两条主线：

场景	模型	文档
预训练	DeepSeek-V3	HiF8 & MXFP8 低精度优化实践
预训练	DeepSeek-V3.2	32K 长序列预训练优化
预训练	DeepSeek-V4	TorchTitan-NPU + AutoFuse 极简训练优化
强化学习	DeepSeek-R1	基于 verl 的 RL 训练优化实践
强化学习	Qwen3-235B	32K 长序列 RL 训练优化
解码策略	SAM Decoding	SAM 解码实践

以 DeepSeek-V4 训练支持为例，文档梳理了 torchtitan → torchtitan-npu → CANN 的分层优化思路，覆盖 DSA、MoE、量化等原生兼容能力：

具身智能文档速查：3D 视觉、操作、导航与世界模型

embodied_ai/ 是面向机器人场景的优化文档区，按四个方向组织：

方向	模型	文档
3D 视觉	3D 高斯泼溅（3DGS）	Alpha Blending 算子优化 / 视锥剔除优化 / 负载均衡策略 / 精确相交算子优化
3D 视觉	Hunyuan3D	NPU 推理优化实践
3D 视觉	VGGT	NPU 推理优化实践
机械臂操作	GR00T N1.6	VLA 模型推理昇腾迁移优化
机械臂操作	Pi0	torch 推理优化 / OM 推理 Debug 经验
导航	Alpamayo-R1	智驾 VLA 模型推理昇腾迁移优化
世界模型	Cosmos	昇腾 NPU 多卡并行优化

其中 3DGS（3D 高斯泼溅）是文档粒度最细的样例，四个算子各自成篇。渲染管线中，高斯椭球按 tile 切分后与图像块做精确相交判断，是剔除优化的核心：

CANN 原子特性速览：跨场景复用的四大能力

cann_features/ 沉淀了不依赖具体模型的公共能力文档，是理解其他优化实践的"底座"：

特性	文档
MultiStream 多流	NPU 多流原理
SuperKernel	SuperKernel 原理
Prefetch 预取	NPU Prefetch 原理
NPUGraph 图模式	NPU 图模式优化原理

SuperKernel 把多个算子组织到不同执行 scope 中，让注意力、MoE 路由分发等计算在多个 stream 上并行推进，减少算子间空隙：

快速上手：三种阅读方式

• 在线站点浏览：仓库自带静态文档站点（utils/site/README.md），支持分类筛选、中英文切换和全文搜索。在仓库根目录执行：

python utils/site/build_content.py
python utils/site/serve.py --port 8001

然后访问 http://127.0.0.1:8001 即可浏览全部文档。

• 按技术属性筛选：每篇文档末尾都带有 static-meta 静态字段，可从量化类型、并行切分、算子种类、CANN 特性、硬件、框架等维度快速过滤，字段规范见 static_meta_infos.md。

• 参与贡献：想新增优化文档或补充英文翻译，先看 CONTRIBUTION.md 的贡献指南，新增文档的具体流程见 new_document_skill.md。

小结

这份导航地图覆盖了 CANN Recipes 文档库的全部四大板块：推理（LLM/多模态/推荐 18 个模型目录）、训练（预训练/强化学习）、具身智能（3D 视觉/操作/导航/世界模型）与 CANN 原子特性（4 大公共能力）。按目录定位场景、按模型名检索文档、用站点筛选器过滤技术属性，是高效使用这套昇腾 NPU 优化文档的三条主线。

• 文档
• CANN
• 大模型
• 模型优化
• 人工智能

【免费下载链接】cann-recipes-docs

基于昇腾 NPU 的训推性能优化技术文档

项目地址： https://gitcode.com/cann/cann-recipes-docs

点击查看 免费下载