我一开始学完机器学习模型训练,兴致冲冲地想上线自己第一个 AI 项目,结果卡在“部署”这一步好几天。各种平台教程碎片、版本冲突、GPU 配置、外网访问……把我绕得头都大了。

这篇文章,我将用第一人称,把我从零到部署第一个 AI 模型服务的全过程、踩坑经验、云平台选择和组合推荐,毫无保留地分享给你。

适合像我一样的:

  • 非传统后端程序员;

  • 想部署 PyTorch / TensorFlow 模型但没部署经验;

  • 想用最低成本上云跑模型;

  • 想快速实现“别人能在线调用我的模型”的目标。


第一步:训练完成的模型准备好了吗?

先说清楚,我部署的是一个 基于 PyTorch 的文本分类模型,训练完导出了 .pt 权重文件。无论你用的是 Hugging Face、Sklearn、XGBoost、还是 TensorFlow,只要模型可以加载、可以写个 predict() 函数,就都能部署。

我整理模型部署的最小闭环如下:

  1. 模型权重文件(如 .pt, .pkl, .h5)

  2. 加载模型的 Python 脚本

  3. 模型接口服务(Flask / FastAPI)

  4. 启动服务并监听 HTTP 请求

  5. 云服务器托管 + 外网访问


第二步:我选择了 FastAPI 作为模型服务框架

我用过 Flask、Django,但最后选了 FastAPI,原因很简单:

  • 更快(异步支持)

  • 自带 Swagger 文档,调试方便

  • 代码简洁明了,特别适合模型调用

FastAPI 服务端结构

from fastapi import FastAPI, Request
import torch

app = FastAPI()

# 模型加载
model = torch.load('model.pt')
model.eval()

@app.post("/predict")
async def predict(data: dict):
    text = data['text']
    # 转换为 tensor
    inputs = preprocess(text)
    with torch.no_grad():
        output = model(inputs)
    return {"result": output.argmax().item()}

这个接口已经可以直接提供 POST 请求服务。只要模型逻辑封装好,FastAPI 就能帮我快速变成 API。


第三步:本地测试模型服务是否正常运行

我习惯先在本地跑一遍:

uvicorn app:app --host 0.0.0.0 --port 8000

用 curl 或 Postman 测试 POST 请求:

curl -X POST http://localhost:8000/predict -H "Content-Type: application/json" -d '{"text": "这是一个测试"}'

如果返回正常,我就知道代码结构没问题,接下来就是准备部署上云。


第四步:选择合适的云平台部署模型服务

我试过的几种平台:

平台适合场景成本GPU 支持个人体验
GCP Cloud Run小模型 / HTTP 接口几乎 0❌快速、自动扩缩容
AWS EC2 + DockerGPU 模型部署适中✅灵活、稳
Hugging Face Spaces轻量展示免费/限流❌简洁易用
Nice Cloud 云主机(如 GCP 实例)通用部署低至每月 <$1✅(取决于租用)性价比之王

我个人现在主力部署方案是:

Nice Cloud 开的 GCP 云主机 + Docker + FastAPI 模型服务

因为:

  • 不需要实名认证,不用绑卡(这对我来说是硬门槛)

  • 成本便宜(通过 nice cloud 的官方账号通道,还能拿到低于官网的折扣)

  • 跑起来和官方一样,没有差别

  • 支持 GPU 实例、按小时计费,实验型部署特别合适


第五步:构建 Docker 容器,模型可以一键部署上线

用 Docker 封装模型部署是我认为最稳妥的做法,尤其适合跨平台部署。

Dockerfile 示例:

FROM python:3.9

WORKDIR /app

COPY requirements.txt .
RUN pip install --no-cache-dir -r requirements.txt

COPY . .

CMD ["uvicorn", "app:app", "--host", "0.0.0.0", "--port", "8000"]

构建镜像 + 本地测试

docker build -t ai-model-app .
docker run -p 8000:8000 ai-model-app

第六步:部署到云主机(Nice Cloud GCP 实例)

我用 nice cloud 开通了一个 GCP 实例(e2-medium),流程只用了邮箱注册 10 分钟就搞定了。之后我这样部署:

  1. SSH 登录服务器

  2. 安装 Docker

  3. 上传代码或拉 Git 仓库

  4. 构建并运行镜像

  5. 打开防火墙 8000 端口

docker run -d -p 80:8000 ai-model-app

现在,我就可以用公网 IP 调用模型 API:

curl -X POST http://<服务器IP>/predict -H "Content-Type: application/json" -d '{"text": "我喜欢这本书"}'

部署完成后的常规优化建议

  • 使用 gunicorn 或 uvicorn --workers 2 提高并发能力

  • 用 Nginx 做反向代理,加 HTTPS 支持

  • 使用 systemd 保证服务意外重启时自启动

  • 开启 Cloud Monitoring 或使用 Prometheus 做基本监控


常见问题 FAQ

Q1:模型大了怎么办?可以打包成镜像跑吗?
可以。你也可以用对象存储(如 GCS、OSS)拉模型文件,在启动时动态加载。

Q2:模型服务崩了怎么办?
用 Docker 容器部署 + --restart always,或者写 systemd 管理服务进程,崩了会自动重启。

Q3:Nice Cloud 的云主机能跑 GPU 吗?
可以申请 GPU 实例,前提是选择 GCP/AWS 时选对配置,nice cloud 平台有客服协助开通。

Q4:是不是一定要用 Docker?
不是必须,但强烈推荐。你也可以直接在服务器上装环境运行,不过不利于迁移和环境一致性。

Q5:Nice Cloud 是官方云吗?安全靠谱吗?
是的。账号是官方的 GCP、AWS、阿里云国际账号,只是 nice cloud 提供了开通、充值、代管服务,让你免去绑卡、实名、注册等麻烦。


总结:AI 模型部署其实并不难,关键在流程和平台组合

回头看我部署第一个模型的过程,其实只用这几步:

  1. 训练模型 → 保存模型文件

  2. 用 FastAPI 封装模型服务

  3. 写 Dockerfile 打包服务

  4. 在 Nice Cloud 云主机部署容器

  5. 开放端口 → 模型上线成功!

这套流程对新手也非常友好。推荐你也试试:

  • 用 Hugging Face 模型微调一个任务

  • 写个 FastAPI 服务封装

  • 部署到 nice cloud 云主机,从此走上模型落地之路

Logo

聚焦RDK与具身智能,汇集机器人开发教程、开源案例和技术交流

更多推荐