AI模型部署实战:从版本管理到推理服务全链路
1. 这不是“上传模型就完事”——AI模型管理与部署的真实战场
你有没有试过:花三周时间调好一个YOLOv8检测模型,准确率92.3%,PR曲线漂亮得像教科书;结果一到部署环节,同事发来截图——“服务启动失败:CUDA out of memory”,再一看日志,是TensorRT加载时显存分配失败;你换用ONNX Runtime试了下,推理延迟从12ms飙到217ms;最后硬着头皮上了Flask轻量API,结果压测刚到5QPS,CPU就干到98%,用户反馈“点十次才响应一次”。这不是个别现象,而是绝大多数AI训练师在走出训练环境后撞上的第一堵墙。 模型管理与部署,从来不是训练完成后的“收尾动作”,而是决定AI能否真正落地的生死线。 今天这篇图解式实操笔记,不讲抽象概念,不堆术语,只拆解我在工业质检、智能客服、边缘安防三个真实项目中踩过的坑、验证过的路径、以及写进团队SOP的 checklist。核心关键词就四个: 模型版本控制、推理引擎选型、服务化封装、资源压测闭环 。适合刚跑通第一个ResNet分类模型的新手,也适合正被线上模型频繁OOM折磨的算法工程师——因为所有问题,都源于对“模型”二字的误解:它不是训练结束那一刻的.pth文件,而是一个包含代码、配置、依赖、硬件约束、性能基线的完整运行时实体。接下来我会用一张图说清管理逻辑,再用四套真实命令链带你走通本地部署全流程。
2. 模型管理:为什么你的model_best.pth永远找不到“最好”的那个?
2.1 版本混乱的代价:一个真实故障复盘
去年某汽车零部件厂上线缺陷检测系统,训练团队交付了v1.2_final_v2_fix.pth(名字里带三个“final”),运维直接扔进生产目录。两周后客户投诉漏检率上升,回溯发现:测试环境用的是v1.1,但训练日志里有一行被忽略的注释:“v1.2因数据增强参数调整,对划痕类缺陷敏感度下降,建议搭配新标注规范使用”。没人知道这个“新标注规范”是什么,原始标注工具已下线,数据集版本号在Git里根本没打tag。最终花了48小时重建v1.1环境,才发现v1.2的输入预处理层多了一个未关闭的随机裁剪开关。 模型管理失效的第一步,永远不是技术问题,而是命名和元数据缺失。 我们后来强制推行的模型注册表,核心字段只有6个,但每个都卡死流程:
| 字段 | 强制要求 | 为什么必须 |
|---|---|---|
| Model ID |
proj-xxx-v1.3.0-20240521
(项目-模块-主次修订-日期)
| 避免“final”“best”“new”等语义模糊词,日期确保可追溯 |
| Source Commit | Git SHA1哈希值(非分支名) | 精确锁定训练代码、超参、数据集版本 |
| Input Spec |
{"shape": [1,3,640,640], "dtype": "float32", "norm": [0.485,0.456,0.406], "scale": 255}
| 部署端必须严格校验,避免预处理不一致导致精度崩塌 |
| Hardware Constraint |
{"gpu": "A10", "mem": "24GB", "cuda": "12.1"}
| 显存/算力不足时,自动触发降级策略(如FP16→INT8) |
| Performance Baseline |
{"latency_p95": 18.2, "throughput": 42.7, "acc_top1": 92.3}
| 基准值来自标准硬件,部署后必须重测并对比 |
| Owner & Contact | 实名+企业IM账号 | 故障时5分钟内找到责任人,不靠邮件轮询 |
提示:我们用SQLite做轻量注册表(非MySQL),因为90%的项目不需要分布式事务。表结构就一张
models,加一个model_versions关联表存不同硬件下的性能快照。代码里用model_registry.register(model, spec)一行调用,比写YAML配置快3倍,且无法绕过。
2.2 模型打包:把.pth变成可执行的“集装箱”
训练输出的
.pth
或
.h5
只是模型权重,它依赖特定框架版本、自定义层、甚至全局随机种子。直接拷贝到服务器?等着
ModuleNotFoundError: No module named 'custom_layers'
吧。我们的标准打包流程分三步,全部自动化:
第一步:冻结计算图(关键!)
PyTorch用
torch.jit.trace
或
torch.jit.script
生成TorchScript,Keras用
tf.keras.models.save_model(..., save_format='tf')
。重点不是格式,而是
剥离训练态依赖
。比如YOLO训练时的
nn.Dropout
在推理时必须设为
eval()
,但手动改容易遗漏。我们写了个检查器:
# model_checker.py
def verify_inference_mode(model):
for name, module in model.named_modules():
if isinstance(module, torch.nn.Dropout):
assert not module.training, f"Dropout {name} still in training mode!"
if hasattr(module, 'training') and module.training:
raise RuntimeError(f"Module {name} not set to eval()")
每次打包前运行,失败则中断CI。
第二步:嵌入元数据(Metadata Injection)
用
zipfile
把权重、spec.json、requirements.txt、readme.md打成
.ai
包(后缀自定义,本质是zip):
# 打包脚本核心逻辑
zip -r model_v1.3.ai \
weights.pt \
spec.json \
requirements.txt \
inference.py \ # 标准化推理入口,含load_model()和predict()函数
README.md
其中
inference.py
是灵魂——它封装了所有框架差异:
# inference.py
def load_model(model_path: str) -> Any:
"""统一加载接口,内部自动识别TorchScript/ONNX/TensorFlow SavedModel"""
if model_path.endswith('.pt'):
return torch.jit.load(model_path)
elif model_path.endswith('.onnx'):
return onnxruntime.InferenceSession(model_path)
# ... 其他格式
def predict(model, input_data: np.ndarray) -> dict:
"""标准化输出:{"boxes": [...], "scores": [...], "labels": [...]}"""
# 统一预处理+后处理逻辑,屏蔽框架差异
第三步:签名与校验(防篡改)
用
openssl dgst -sha256
生成SHA256摘要,存入
MANIFEST.json
:
{
"model_id": "proj-defect-v1.3.0-20240521",
"sha256": "a1b2c3...f8e9d0",
"timestamp": "2024-05-21T14:22:33Z"
}
部署脚本启动时先校验SHA256,不匹配直接退出——杜绝“悄悄替换模型却无人知晓”。
2.3 模型仓库:不用Docker也能做版本隔离
很多人一提模型管理就想到MLflow或Weights & Biases,但小团队真需要那么重吗?我们用极简方案: Git LFS + Nginx静态服务 。原因很实在:Git LFS免费、审计日志天然存在、Nginx部署5分钟搞定。关键设计点:
-
LFS追踪规则精准到模型ID
.gitattributes里不写*.pt filter=lfs diff=lfs merge=lfs -text,而是:models/proj-defect-v1.3.0-20240521.ai filter=lfs diff=lfs merge=lfs -text models/proj-chat-v2.1.0-20240610.ai filter=lfs diff=lfs merge=lfs -text避免误触训练中间产物(如
epoch_100.pth)。 -
Nginx配置强制版本路由
location /models/ { alias /var/www/models/; # 禁止目录遍历 if ($request_uri ~ "^/models/.*\.\./") { return 403; } # 强制版本号匹配 if ($request_uri !~ "^/models/[a-zA-Z0-9\-]+\.ai$") { return 404; } }访问
https://model-repo.com/models/proj-defect-v1.3.0-20240521.ai才能下载,/models/根目录返回404——杜绝“猜模型名”。 -
权限控制靠HTTP Basic Auth
不用JWT或OAuth,就用Nginx内置的auth_basic:location /models/ { auth_basic "Model Repository"; auth_basic_user_file /etc/nginx/model-auth.htpasswd; # ... 其他配置 }htpasswd -c /etc/nginx/model-auth.htpasswd deployer生成密码文件,运维和算法各持不同账号,审计日志直接看Nginx access.log。
这套方案上线后,模型回滚时间从小时级降到秒级(
curl -O https://repo/models/proj-defect-v1.1.0-20240315.ai
),且所有下载行为可追溯到具体IP和账号。
3. 推理引擎选型:别再盲目跟风VLLM,先看这三张决策表
3.1 性能不是唯一指标:硬件、场景、维护成本的三角平衡
看到“VLLM吞吐提升3倍”就冲?我见过团队用VLLM部署一个BERT分类模型,结果发现:VLLM的PagedAttention机制对短文本(<128 token)反而增加调度开销,实际QPS比原生PyTorch还低15%。 推理引擎选型必须回答三个问题:
- 硬件是否支持? —— VLLM要求CUDA 11.8+且GPU显存≥16GB,而很多产线设备还是Tesla P4(8GB显存);
- 请求模式是什么? —— 是长文本流式生成(适合VLLM),还是毫秒级图像检测(适合TensorRT);
-
团队能否维护?
—— VLLM的
--block-size、--max-num-seqs等参数调优需要深入理解GPU内存池,而ONNX Runtime的session_options.graph_optimization_level调参门槛低得多。
我们做了三组实测(A10 GPU,batch_size=1):
| 模型类型 | 引擎 | P95延迟(ms) | QPS | 内存占用(GB) | 部署复杂度(1-5分) |
|---|---|---|---|---|---|
| YOLOv8(640x640) | TensorRT | 8.3 | 112 | 1.2 | 4 |
| BERT-base(128 token) | ONNX Runtime | 12.7 | 78 | 0.9 | 2 |
| Llama-2-7B(4k context) | VLLM | 42.1 | 35 | 14.8 | 5 |
| Llama-2-7B(4k context) | Transformers+FlashAttention | 58.9 | 22 | 16.3 | 3 |
注意:VLLM的QPS优势在batch_size>4时才明显,单请求场景下ONNX Runtime更稳。表格里“部署复杂度”指从零部署到监控上线所需人天数,VLLM需编译CUDA kernel,ONNX只需pip install。
3.2 ONNX:跨框架的“通用语言”,但不是万能胶
ONNX常被当作“一次导出,到处运行”的银弹,但现实很骨感。我们导出一个PyTorch YOLOv8时遇到三个典型坑:
坑1:动态轴(dynamic axes)声明错误
导出时若未指定
dynamic_axes
,ONNX会将batch_size固定为1:
# 错误:没声明动态batch
torch.onnx.export(model, dummy_input, "yolo.onnx", opset_version=12)
# 正确:明确声明batch维度可变
torch.onnx.export(
model, dummy_input, "yolo.onnx",
opset_version=12,
dynamic_axes={
'input': {0: 'batch_size'}, # 输入batch可变
'output': {0: 'batch_size'} # 输出batch可变
}
)
否则ONNX Runtime加载时报错
InvalidArgument: Input batch_size mismatch
。
坑2:PyTorch算子不支持
YOLOv8的
torchvision.ops.nms
在ONNX opset 12中无对应算子。解决方案不是升级opset(可能引入兼容性问题),而是
在导出前替换为ONNX友好版
:
# 替换NMS为自定义实现(基于torch.topk+IoU)
def nms_onnx(boxes, scores, iou_threshold=0.45):
# 纯PyTorch实现,无torchvision依赖
# ... 代码略,核心是避免调用torchvision.ops.nms
然后在模型forward中调用此函数,导出时自然兼容。
坑3:量化后精度崩塌
INT8量化后mAP从92.3%掉到78.1%。根源是YOLO的置信度分数(scores)分布极偏态(大量接近0的值)。我们改用
分通道量化(per-channel quantization)
并禁用对scores的量化:
from onnxruntime.quantization import QuantType, quantize_dynamic
quantize_dynamic(
model_input="yolo.onnx",
model_output="yolo_int8.onnx",
weight_type=QuantType.QInt8,
per_channel=True,
reduce_range=False,
nodes_to_exclude=["scores_output_node"] # 关键!跳过scores节点
)
实测后mAP回升至90.7%,延迟降低32%。
3.3 TensorRT:榨干NVIDIA GPU的最后一滴性能,但要付出什么?
TensorRT是NVIDIA官方推理引擎,性能天花板高,但“编译即部署”的特性带来独特挑战。我们部署一个ResNet50分类模型的完整链路:
Step 1:ONNX转TRT引擎(耗时最长)
trtexec --onnx=resnet50.onnx \
--saveEngine=resnet50.trt \
--fp16 \
--workspace=2048 \
--minShapes=input:1x3x224x224 \
--optShapes=input:8x3x224x224 \
--maxShapes=input:32x3x224x224 \
--timingCacheFile=timing.cache
关键参数解读:
-
--fp16:启用半精度,速度提升约1.8倍,精度损失<0.3%(实测); -
--workspace=2048:GPU显存工作区(MB),太小导致编译失败,太大浪费显存; -
--min/opt/maxShapes:定义动态batch范围,必须覆盖业务真实请求分布,否则运行时报错。
Step 2:引擎序列化与反序列化(避坑重点)
TRT引擎文件(
.trt
)是二进制,
不能直接拷贝到不同GPU型号机器上运行
!A10编译的引擎在A100上可能崩溃。正确做法是:
-
编译时用
--timingCacheFile生成缓存,下次编译相同ONNX时加速; - 部署时用Python API反序列化:
import tensorrt as trt
with open("resnet50.trt", "rb") as f:
engine_bytes = f.read()
runtime = trt.Runtime(trt.Logger(trt.Logger.WARNING))
engine = runtime.deserialize_cuda_engine(engine_bytes) # 关键!非trt.load_engine()
deserialize_cuda_engine
比
trt.load_engine()
更健壮,能捕获GPU架构不匹配异常。
Step 3:内存池管理(防止OOM)
TRT默认为每个请求分配独立显存,高并发时OOM。必须手动管理:
# 创建共享内存池
context = engine.create_execution_context()
# 设置输入输出绑定索引(假设input=0, output=1)
context.set_binding_shape(0, (batch_size, 3, 224, 224))
# 分配显存(复用同一块buffer)
input_buffer = cuda.mem_alloc(input_nbytes)
output_buffer = cuda.mem_alloc(output_nbytes)
# 执行时绑定
context.execute_async_v2(
bindings=[int(input_buffer), int(output_buffer)],
stream_handle=stream.handle
)
我们封装了
TRTInferenceSession
类,内部维护buffer池,QPS提升40%且内存稳定。
4. 服务化封装:从Jupyter Notebook到生产API的七道关卡
4.1 Flask不是生产级?那我们怎么用它扛住500QPS
很多人说“Flask不适合生产”,但我们的智能客服问答API就是Flask写的,峰值523QPS,P95延迟<80ms。关键不是框架本身,而是 如何绕过它的短板 :
短板1:单线程阻塞
→ 解决方案:
Gunicorn + Uvicorn Worker
不用默认的Werkzeug服务器,用Gunicorn管理多个Uvicorn worker进程:
gunicorn -w 4 -k uvicorn.workers.UvicornWorker \
--bind 0.0.0.0:8000 \
--timeout 120 \
--keep-alive 5 \
app:app
-
-w 4:启动4个worker(A10 GPU建议worker数≤GPU数,避免显存争抢); -
--timeout 120:防止长文本生成超时kill worker; -
--keep-alive 5:HTTP keep-alive 5秒,减少TCP握手开销。
短板2:模型加载阻塞启动
→ 解决方案:
延迟加载 + 预热机制
Flask启动时加载模型会卡住,用户首请求超时。我们改用
@app.before_first_request
:
model_cache = {}
@app.before_first_request
def load_model_on_first_request():
# 首次请求前加载,非启动时
model_id = request.args.get('model_id', 'default')
if model_id not in model_cache:
model_cache[model_id] = load_trt_engine(f"{model_id}.trt")
# 预热:用dummy input跑一次
dummy = np.random.randn(1,3,224,224).astype(np.float16)
_ = model_cache[model_id].infer(dummy)
同时加健康检查端点
/healthz
,K8s探针调用它确认模型已就绪。
短板3:无熔断降级
→ 解决方案:
Sentinel Python SDK
当GPU显存满时,Flask仍会接受请求导致排队雪崩。我们集成Sentinel:
from sentinel import FlowRule, RuleManager
# 定义流控规则:QPS>400时拒绝
rule = FlowRule(
resource="inference_api",
control_behavior=FlowRule.CONTROL_BEHAVIOR_RATE_LIMITER,
threshold=400.0
)
RuleManager.load_rules([rule])
@app.post("/predict")
def predict():
# Sentinel自动拦截超限请求
entry = SphU.entry("inference_api")
try:
result = do_inference()
return {"result": result}
except BlockException:
return {"error": "Service overloaded, please retry later"}, 503
finally:
entry.exit()
实测在流量突增时,503响应率<0.1%,避免级联故障。
4.2 gRPC:当延迟和吞吐成为生死线
对于工业质检实时检测,HTTP JSON序列化开销太大(单次请求增加3-5ms)。我们切到gRPC,延迟降至1.2ms(P95),QPS提升至1800+。关键改造点:
Proto定义精简到极致
不传JSON,用二进制Protocol Buffer:
syntax = "proto3";
package detector;
message DetectRequest {
bytes image_data = 1; // 原始JPEG字节流,非base64
uint32 width = 2;
uint32 height = 3;
}
message DetectResponse {
repeated Box boxes = 1;
repeated float scores = 2;
repeated int32 labels = 3;
}
message Box {
float x1 = 1;
float y1 = 2;
float x2 = 3;
float y2 = 4;
}
image_data
直接传JPEG字节,省去base64编码/解码,传输体积减小33%。
服务端用异步流式响应
客户端上传大图(>5MB)时,gRPC默认缓冲整个请求体。我们改用
客户端流式上传
:
# server.py
class DetectorServicer(detector_pb2_grpc.DetectorServicer):
def DetectStream(self, request_iterator, context):
# 流式接收分块数据
image_bytes = b""
for chunk in request_iterator:
image_bytes += chunk.data
# 合成完整图片后推理
img = cv2.imdecode(np.frombuffer(image_bytes, np.uint8), cv2.IMREAD_COLOR)
result = self.model.infer(img)
yield detector_pb2.DetectResponse(**result)
客户端用
stub.DetectStream(request_iterator)
发送,内存占用恒定<1MB。
TLS证书自动续期
生产gRPC必须加密,但我们不用Let's Encrypt手动续期。用
certbot
配合
systemd timer
:
# /etc/systemd/system/cert-renew.timer
[Timer]
OnCalendar=weekly
Persistent=true
[Install]
WantedBy=timers.target
# renew.sh
certbot renew --deploy-hook "cp /etc/letsencrypt/live/api.example.com/fullchain.pem /opt/grpc/certs/ && cp /etc/letsencrypt/live/api.example.com/privkey.pem /opt/grpc/certs/ && systemctl restart grpc-server"
证书自动续期,服务无缝重启。
4.3 Docker镜像瘦身:从2.1GB到327MB的实战压缩
一个PyTorch+OpenCV+Flask的镜像动辄2GB,拉取慢、存储贵。我们用多阶段构建压到327MB:
# 第一阶段:构建环境(含编译工具)
FROM nvidia/cuda:12.1.1-devel-ubuntu22.04 AS builder
RUN apt-get update && apt-get install -y python3-dev python3-pip
COPY requirements.txt .
RUN pip3 install --no-cache-dir -r requirements.txt
# 第二阶段:运行环境(精简版CUDA)
FROM nvidia/cuda:12.1.1-runtime-ubuntu22.04
# 只复制必要so库,不复制编译工具链
COPY --from=builder /usr/lib/x86_64-linux-gnu/libcudnn* /usr/lib/x86_64-linux-gnu/
COPY --from=builder /usr/local/cuda-12.1/targets/x86_64-linux/lib/libcublas* /usr/local/cuda-12.1/lib64/
# 复制Python依赖(不含dev包)
COPY --from=builder /usr/local/lib/python3.10/site-packages /usr/local/lib/python3.10/site-packages
# 复制应用代码
COPY app/ /app/
WORKDIR /app
CMD ["gunicorn", "-w", "4", "-k", "uvicorn.workers.UvicornWorker", "app:app"]
关键瘦身点:
-
删掉
devel镜像,用runtime镜像 :省掉GCC、make等编译工具,体积减半; -
只复制CUDA库,不复制头文件
:
libcudnn.so.8等运行时库保留,cudnn.h等头文件删除; -
用
--no-deps安装纯Python包 :pip install --no-deps numpy,依赖由基础镜像提供; -
删除
.pyc和__pycache__:find /usr/local/lib -name "*.pyc" -delete。
最终镜像327MB,CI构建时间从8分23秒缩短到2分17秒。
5. 资源压测与监控:没有监控的部署等于没部署
5.1 压测不是跑个ab命令:定义你的SLO黄金指标
很多团队压测只看“QPS多少”,但SLO(Service Level Objective)必须量化业务影响。我们定义AI服务的三大黄金指标:
| 指标 | 计算公式 | SLO目标 | 业务含义 |
|---|---|---|---|
| 可用性(Availability) |
(总时间 - 故障时间) / 总时间
| ≥99.95% | 每月宕机≤21.6分钟 |
| 延迟达标率(Latency Compliance) |
P95延迟 ≤ 100ms的请求数 / 总请求数
| ≥99.5% | 用户感知“卡顿”概率<0.5% |
| 精度维持率(Accuracy Retention) |
线上mAP / 离线测试mAP
| ≥98% | 模型退化预警阈值 |
压测工具链:
- Locust :模拟真实用户行为(如:70%请求带图,30%请求带文本;图尺寸服从正态分布);
-
Prometheus + Grafana
:采集GPU显存、温度、PCIe带宽(用
nvidia-smi dmon); - 自研精度监控 :每1000次请求抽样10个请求,用离线验证集比对输出,计算mAP漂移。
5.2 GPU监控:显存不是唯一瓶颈,PCIe带宽才是隐形杀手
我们曾遇到一个诡异问题:A10 GPU显存占用仅65%,但QPS卡在120上不去。
nvidia-smi dmon
显示PCIe RX(接收)带宽持续100%:
# gpu pwr temp sm mem enc dec mclk pclk rx tx
# 0 85W 62C 85% 65% 0% 0% 1500 1100 100% 12%
RX 100%意味着GPU从CPU读取数据已达极限。根源是ONNX Runtime默认用
ExecutionMode.ORT_SEQUENTIAL
,数据拷贝同步阻塞。解决方案:
# 启用并行执行模式
session_options.execution_mode = ort.ExecutionMode.ORT_PARALLEL
session_options.inter_op_num_threads = 0 # 使用系统默认线程数
session_options.intra_op_num_threads = 4 # 每个OP用4线程
同时调整CPU亲和性,让数据加载线程绑定到靠近GPU的NUMA节点:
numactl --cpunodebind=0 --membind=0 python app.py
优化后PCIe RX降至42%,QPS提升至290。
5.3 熔断与降级:当GPU真的扛不住时,你还有底牌
即使有压测,突发流量仍可能击穿。我们的降级策略分三级:
L1:自动缩容输入分辨率
当GPU显存>90%持续10秒,触发:
# 动态调整预处理
if gpu_memory_usage > 0.9:
target_size = max(320, current_size * 0.7) # 缩小30%
image = cv2.resize(image, (target_size, target_size))
YOLOv8在320x320下mAP仅降1.2%,但显存占用减半。
L2:切换轻量模型
预置一个YOLOv5s(非v8)作为备胎模型,参数量仅v8的1/3:
# 模型路由
if gpu_memory_usage > 0.95:
model = load_yolov5s_trt() # 加载轻量模型
else:
model = load_yolov8m_trt()
L3:返回缓存结果
对重复请求(相同图片MD5),返回上次结果并标记
"cached": true
:
image_hash = hashlib.md5(image_bytes).hexdigest()
if image_hash in cache_db:
return cache_db[image_hash]
else:
result = model.infer(image)
cache_db[image_hash] = result
return result
缓存命中率通常>15%,在促销活动期间救了多次。
6. 本地部署实战:Windows 11 + Ollama + 自定义模型的全链路
6.1 Windows 11安装Ollama:绕过WSL2的坑
Ollama官方文档说“Windows需WSL2”,但很多产线电脑禁用Hyper-V。我们验证出纯Windows原生方案:
Step 1:安装Windows Subsystem for Linux(非WSL2)
# PowerShell管理员运行
dism.exe /online /enable-feature /featurename:Microsoft-Windows-Subsystem-Linux /all /norestart
# 重启后,从Microsoft Store安装Ubuntu 22.04(非WSL2发行版)
Step 2:Ollama二进制直装(非WSL2)
官网下载
ollama-windows-amd64.zip
,解压到
C:\ollama
,添加到PATH:
# PowerShell
$env:Path += ";C:\ollama"
[Environment]::SetEnvironmentVariable("Path", $env:Path, "Machine")
Step 3:解决CUDA驱动冲突
Windows原生Ollama默认用CPU推理。要启用GPU,需:
- 下载NVIDIA CUDA Toolkit 12.1(非12.2,Ollama 0.1.35仅支持12.1);
- 设置环境变量:
$env:CUDA_PATH="C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.1"
$env:PATH+=";C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.1\bin"
验证:
ollama run llama2
,
nvidia-smi
应显示Ollama进程占用GPU。
6.2 导入自定义GGUF模型:从HuggingFace到Ollama的三步转换
Ollama只认GGUF格式,而HuggingFace模型多为PyTorch。转换链路:
Step 1:HF模型转GGUF(用llama.cpp)
# 在Ubuntu WSL中执行(Windows原生不支持)
git clone https://github.com/ggerganov/llama.cpp
cd llama.cpp
make -j$(nproc)
# 下载HF模型(如TheBloke/Llama-2-7B-GGUF)
wget https://huggingface.co/TheBloke/Llama-2-7B-GGUF/resolve/main/llama-2-7b.Q4_K_M.gguf
Step 2:创建Modelfile(关键!)
FROM ./llama-2-7b.Q4_K_M.gguf
PARAMETER num_ctx 4096
PARAMETER stop "User:"
PARAMETER stop "Assistant:"
TEMPLATE """
{{ if .System }}<|system|>{{ .System }}<|end|>{{ end }}
{{ if .Prompt }}<|user|>{{ .Prompt }}<|end|>{{ end }}
<|assistant|>"""
TEMPLATE
定义对话格式,适配ChatML协议。
Step 3:构建并运行
ollama create my-llama2 -f Modelfile
ollama run my-llama2
实测Windows原生Ollama跑7B模型,A10 GPU下token/s达42.3,比CPU快17倍。
6.3 本地音频转文字:Whisper.cpp的极简部署
“本地部署音频转文字AI模型”是高频需求。我们弃用Python Whisper(内存吃紧),用C++版Whisper.cpp:
Step 1:编译Windows原生二进制
# PowerShell
git clone https://github.com/ggerganov/whisper.cpp
cd whisper.cpp
# 安装Visual Studio 2022 Build Tools
# 用x64 Native Tools Command Prompt运行
nmake -f Makefile.msvc
Step 2:下载量化模型(节省显存)
# 下载tiny.en量化版(仅75MB,CPU即可跑)
Invoke-WebRequest -Uri "https://huggingface.co/ggerganov/whisper.cpp/resolve/main/ggml-tiny.en.bin" -OutFile "models/ggml-tiny.en.bin"
Step 3:命令行一键转录
# 转录MP3,输出SRT字幕
whisper.exe -m models/ggml-tiny.en.bin -f audio.mp3 -otxt -osrt --threads 8
实测10分钟音频,i7-11800H CPU耗时48秒,准确率92.7%(对比人工听写)。若加A10 GPU:
whisper.exe -m models/ggml-tiny.en.bin -f audio.mp3 -otxt -osrt --threads 8 --gpu
耗时降至11秒,GPU利用率65%。
这套方案无需Python环境,双击exe即可运行,产线工人培训5分钟就能上手。
更多推荐
所有评论(0)