新手 AI 模型部署完整流程 + 云平台组合推荐(实测经验)
我一开始学完机器学习模型训练,兴致冲冲地想上线自己第一个 AI 项目,结果卡在“部署”这一步好几天。各种平台教程碎片、版本冲突、GPU 配置、外网访问……把我绕得头都大了。
这篇文章,我将用第一人称,把我从零到部署第一个 AI 模型服务的全过程、踩坑经验、云平台选择和组合推荐,毫无保留地分享给你。
适合像我一样的:
-
非传统后端程序员;
-
想部署 PyTorch / TensorFlow 模型但没部署经验;
-
想用最低成本上云跑模型;
-
想快速实现“别人能在线调用我的模型”的目标。
第一步:训练完成的模型准备好了吗?
先说清楚,我部署的是一个 基于 PyTorch 的文本分类模型,训练完导出了 .pt 权重文件。无论你用的是 Hugging Face、Sklearn、XGBoost、还是 TensorFlow,只要模型可以加载、可以写个 predict() 函数,就都能部署。
我整理模型部署的最小闭环如下:
-
模型权重文件(如
.pt,.pkl,.h5) -
加载模型的 Python 脚本
-
模型接口服务(Flask / FastAPI)
-
启动服务并监听 HTTP 请求
-
云服务器托管 + 外网访问
第二步:我选择了 FastAPI 作为模型服务框架
我用过 Flask、Django,但最后选了 FastAPI,原因很简单:
-
更快(异步支持)
-
自带 Swagger 文档,调试方便
-
代码简洁明了,特别适合模型调用
FastAPI 服务端结构
from fastapi import FastAPI, Request
import torch
app = FastAPI()
# 模型加载
model = torch.load('model.pt')
model.eval()
@app.post("/predict")
async def predict(data: dict):
text = data['text']
# 转换为 tensor
inputs = preprocess(text)
with torch.no_grad():
output = model(inputs)
return {"result": output.argmax().item()}
这个接口已经可以直接提供 POST 请求服务。只要模型逻辑封装好,FastAPI 就能帮我快速变成 API。
第三步:本地测试模型服务是否正常运行
我习惯先在本地跑一遍:
uvicorn app:app --host 0.0.0.0 --port 8000
用 curl 或 Postman 测试 POST 请求:
curl -X POST http://localhost:8000/predict -H "Content-Type: application/json" -d '{"text": "这是一个测试"}'
如果返回正常,我就知道代码结构没问题,接下来就是准备部署上云。
第四步:选择合适的云平台部署模型服务
我试过的几种平台:
| 平台 | 适合场景 | 成本 | GPU 支持 | 个人体验 |
|---|---|---|---|---|
| GCP Cloud Run | 小模型 / HTTP 接口 | 几乎 0 | ❌ | 快速、自动扩缩容 |
| AWS EC2 + Docker | GPU 模型部署 | 适中 | ✅ | 灵活、稳 |
| Hugging Face Spaces | 轻量展示 | 免费/限流 | ❌ | 简洁易用 |
| Nice Cloud 云主机(如 GCP 实例) | 通用部署 | 低至每月 <$1 | ✅(取决于租用) | 性价比之王 |
我个人现在主力部署方案是:
Nice Cloud 开的 GCP 云主机 + Docker + FastAPI 模型服务
因为:
-
不需要实名认证,不用绑卡(这对我来说是硬门槛)
-
成本便宜(通过 nice cloud 的官方账号通道,还能拿到低于官网的折扣)
-
跑起来和官方一样,没有差别
-
支持 GPU 实例、按小时计费,实验型部署特别合适
第五步:构建 Docker 容器,模型可以一键部署上线
用 Docker 封装模型部署是我认为最稳妥的做法,尤其适合跨平台部署。
Dockerfile 示例:
FROM python:3.9
WORKDIR /app
COPY requirements.txt .
RUN pip install --no-cache-dir -r requirements.txt
COPY . .
CMD ["uvicorn", "app:app", "--host", "0.0.0.0", "--port", "8000"]
构建镜像 + 本地测试
docker build -t ai-model-app .
docker run -p 8000:8000 ai-model-app
第六步:部署到云主机(Nice Cloud GCP 实例)
我用 nice cloud 开通了一个 GCP 实例(e2-medium),流程只用了邮箱注册 10 分钟就搞定了。之后我这样部署:
-
SSH 登录服务器
-
安装 Docker
-
上传代码或拉 Git 仓库
-
构建并运行镜像
-
打开防火墙 8000 端口
docker run -d -p 80:8000 ai-model-app
现在,我就可以用公网 IP 调用模型 API:
curl -X POST http://<服务器IP>/predict -H "Content-Type: application/json" -d '{"text": "我喜欢这本书"}'
部署完成后的常规优化建议
-
使用
gunicorn或uvicorn --workers 2提高并发能力 -
用 Nginx 做反向代理,加 HTTPS 支持
-
使用 systemd 保证服务意外重启时自启动
-
开启 Cloud Monitoring 或使用 Prometheus 做基本监控
常见问题 FAQ
Q1:模型大了怎么办?可以打包成镜像跑吗?
可以。你也可以用对象存储(如 GCS、OSS)拉模型文件,在启动时动态加载。
Q2:模型服务崩了怎么办?
用 Docker 容器部署 + --restart always,或者写 systemd 管理服务进程,崩了会自动重启。
Q3:Nice Cloud 的云主机能跑 GPU 吗?
可以申请 GPU 实例,前提是选择 GCP/AWS 时选对配置,nice cloud 平台有客服协助开通。
Q4:是不是一定要用 Docker?
不是必须,但强烈推荐。你也可以直接在服务器上装环境运行,不过不利于迁移和环境一致性。
Q5:Nice Cloud 是官方云吗?安全靠谱吗?
是的。账号是官方的 GCP、AWS、阿里云国际账号,只是 nice cloud 提供了开通、充值、代管服务,让你免去绑卡、实名、注册等麻烦。
总结:AI 模型部署其实并不难,关键在流程和平台组合
回头看我部署第一个模型的过程,其实只用这几步:
-
训练模型 → 保存模型文件
-
用 FastAPI 封装模型服务
-
写 Dockerfile 打包服务
-
在 Nice Cloud 云主机部署容器
-
开放端口 → 模型上线成功!
这套流程对新手也非常友好。推荐你也试试:
-
用 Hugging Face 模型微调一个任务
-
写个 FastAPI 服务封装
-
部署到 nice cloud 云主机,从此走上模型落地之路
更多推荐
所有评论(0)