不废话了,先说我一个跑了快两年本地大模型的真实感受:本地部署这件事,真正卡人的从来不是“模型选哪个”,而是“工具链怎么选”。同一个7B模型,用Ollama跑和用transformers跑、用llama.cpp跑,手感完全不一样,资源占用也不在一个量级。如果你只是想在本地起一个API服务,给ChatGPT类应用、知识库机器人什么的当推理后端,那无脑上Ollama;如果你要做微调、研究模型行为、调试生成效果,那transformers是你的主场,绕不开;如果你手头是Jetson这类边缘设备,或者想把CPU性能榨干,那llama.cpp就是目前的天花板。而这三条路线的交汇点,恰恰是“量化”——用一点精度换显存、换速度,这是所有本地部署方案里性价比最高的一步。

这篇博文我就按这三条路线分别拆,把量化的原理和实操一起讲透,最后再把我踩过的坑和排查实录都放出来。

1. 本地部署前必须算清楚的账:显存、场景与工具链

很多新手上来就问“哪个工具最好”,这是个伪命题。工具是拿来匹配场景的,先搞清楚自己要什么,再选工具才算合理。

1.1 模型体积和显存的账怎么算

先说一个最核心的换算逻辑。一个7B(70亿参数)模型的权重文件,用FP16(半精度,每个参数占2字节)存储,理论上基础体积是 7 × 10^9 × 2 = 14GB。这个数字是“静态体积”,也就是你把模型下载到硬盘上占的空间。真正推理时,显存占用还要加上三块:权重本身、KV Cache(注意力机制里缓存K和V矩阵用的)、中间激活值。

以7B FP16模型为例,在我实测过的4090 24GB显卡上,纯推理时显存占用大概是15~17GB,剩下的一部分被CUDA context和其他开销吃掉。换句话说,24GB显存跑7B FP16是勉强能跑的,但如果你想再挂个长上下文、开大batch或者并行跑多路请求,分分钟爆显存。

到了13B模型,FP16光权重就是26GB,基本告别单卡消费级显卡了。这时候量化就成了刚需:把权重压到4bit或者8bit,体积直接砍半甚至砍到四分之一,单卡跑13B就变成现实。量化本质上是把模型的冗余空间挤掉,用极少量的精度损失换取极大的资源收益,这笔买卖在本地部署里几乎永远划算。

1.2 三条工具链的定位差异

我习惯把本地部署工具链分成三层来理解:

Ollama这一层,面向的是“只想用模型的人”。它把模型下载、转换、量化、API服务全部封装好了,拉下来就能跑,底层实现是llama.cpp的Go封装版,所以推理性能和llama.cpp同源。但坏处也很明显——它是个黑盒,你想改推理参数、想加载自定义的safetensors模型,都得绕路。

transformers这一层,面向的是“需要控制模型的人”。它是Hugging Face生态的核心,干什么都行:加载任意safetensors权重、微调、做评估、控制生成细节,甚至研究模型内部机制。代价是你要自己管理显存、自己写加载逻辑、自己处理量化的细节。PyTorch代码写得不好,同样的模型能比别人多吃好几个G显存。

llama.cpp这一层,面向的是“追求极致性能和边缘部署的人”。它是个纯C/C++项目,没有Python依赖,运行时不背Python解释器的包袱,内存管理和SIMD优化都做到了极致。我在Jetson AGX Orin这种ARM设备上跑过,CPU推理的时候llama.cpp的线程调度比Python方案强太多了。代价是它的接口更底层,所有东西都要自己动手配置。

一句话总结:省事选Ollama,灵活选transformers,极致选llama.cpp。三者不冲突,完全可以共存,我就是一台机器上三个工具都装着,按场景切换。

2. Ollama实践:零基础也能跑起的本地模型服务

Ollama是目前个人电脑上最“友好”的本地部署入口。它把以前需要折腾好几个小时的环境配置压缩成了两条命令。

2.1 安装、模型下载提速、换盘操作

安装本身没什么技术含量,macOS和Windows直接去官网下载安装包,Linux一条curl命令搞定。但Windows用户在安装完以后会遇到两个非常现实的痛点。

第一个痛点是模型下载太慢。Ollama默认从官方Registry拉模型,在国内网络环境下经常是几百KB/s甚至断流。我的解决方案是两个:一是配置镜像环境变量,在系统环境变量里加一条 OLLAMA_HOST=127.0.0.1:11434 (这个是API监听地址),再配合国内可访问的镜像源来加速模型库下载;二是在某些模型官网没有提供Ollama版本的情况下,直接从ModelScope(魔搭社区)下载GGUF文件,再用 ollama create 命令手工导入到Ollama里。后者是绕开官方下载慢问题的最可靠方案,我后面细讲。

第二个痛点是很多人问“怎么不装在C盘”。Ollama默认把模型放在用户目录的 .ollama/models 下,C盘空间紧张的话非常头疼。解决方法是设置环境变量 OLLAMA_MODELS ,指向你的D盘或其它数据盘,比如 OLLAMA_MODELS=D:\ollama_models ,改完以后重启Ollama服务,再拉模型就会存到新位置。这个变量同时影响模型的存储目录和缓存的下载临时文件,设置完建议把原来的 .ollama/models 目录整体拷到新位置,省得重复下载。

2.2 拉模型、跑模型、量化等级怎么选

安装配置好以后,拉模型就是一条命令的事:

ollama pull qwen2.5:7b-instruct-q4_K_M

这行命令里最关键的其实是最后那个标签 q4_K_M 。Ollama模型库里的模型大多会提供多个量化版本,我常用的几个标签后缀含义如下:

标签后缀 量化类型 每个权重占用 运行速度 推荐场景
fp16 半精度浮点 2字节 最慢 追求原始精度
q8_0 8bit量化 1字节 快 精度和速度均衡
q5_K_M 5bit量化(K-Mix) 约0.68字节 较快 日常推荐
q4_K_M 4bit量化(K-Mix) 约0.56字节 很快 显存紧张时首选
q2_K 2bit量化 约0.34字节 最快 仅测试用,质量损失大

对于7B模型来说,q4_K_M量化后大概是4.4GB,显存占用大概6GB出头,一般的8G显存显卡也能跑。q5_K_M质量比q4好一截,体积也就多1GB左右,如果显存够了我个人更倾向q5。q8_0在12G以上显存的卡上跑起来体验最好,回答质量和速度都接近原始FP16。

模型拉下来以后直接跑:

ollama run qwen2.5:7b-instruct-q4_K_M

进去就是交互式对话。退出后如果想作为服务常驻后台, ollama serve 可以手动启动服务,Windows版安装后默认开机自启,不需要额外操作。

2.3 Modelfile自定义模型行为和API对接

Ollama真正强大的地方在于你不需要自己写推理程序,它提供一个OpenAI兼容的REST API,格式几乎一模一样:

curl http://localhost:11434/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{"model": "qwen2.5:7b-instruct-q4_K_M", "messages": [{"role": "user", "content": "介绍一下你自己"}]}'

这意味着之前开发的OpenAI接口代码,只要把base_url换成本地地址就能无缝切换到本地模型。

如果你想定制模型参数(比如调低温度、设置系统提示词、加个专用的上下文模板),可以用Modelfile,这是Ollama的自定义模型配置文件,类似Dockerfile:

FROM qwen2.5:7b-instruct-q4_K_M

PARAMETER temperature 0.7
PARAMETER top_p 0.9
PARAMETER num_ctx 8192

SYSTEM """
你是一位精通Python编程的技术顾问,回答问题时要给出可运行的代码示例。
"""

保存为Modelfile后执行:

ollama create my-coding-assistant -f Modelfile

这样就生成了一个自带人设、自定义上下文长度的私有模型,调用时直接用 my-coding-assistant 这个名字就行。值得注意的是 num_ctx 这个参数,它控制上下文窗口大小,默认通常是2048,如果你做长文档问答,必须调大,否则模型“记不住”前面的内容。

2.4 对接CherryStudio等前端应用

很多人用Ollama是为了给前端AI应用当后端。CherryStudio是目前很流行的一款开源AI客户端(Windows/macOS都有),图表化的聊天界面、知识库管理、多模型管理都做得非常顺手。

对接步骤非常简单:

  1. 打开CherryStudio,进入“设置”->“模型服务”。
  2. 选择添加Ollama服务,填上Ollama地址,一般是 http://127.0.0.1:11434 。
  3. 点“拉取模型列表”,CherryStudio会自动调Ollama的 /api/tags 接口,把你本地所有模型列出来。
  4. 选一个默认模型,就能开始聊天了。

这里有个小坑:如果CherryStudio检测不到模型,先确认Ollama服务是否在跑,命令行执行 ollama list 看有没有输出;再确认CherryStudio填的地址没有加 /v1 后缀。Ollama的两种接口路径不同, /api/tags 是原生接口, /v1/chat/completions 才是OpenAI兼容接口,CherryStudio的Ollama服务类型走的是原生接口,所以地址只填到 11434 即可。

3. transformers实践:想要控制权,就得走Hugging Face路线

如果说Ollama是“一键起飞”,那transformers就是“手动驾驶”。它的灵活度没有任何替代品能比,但代价是需要对模型加载、显存管理有清晰认知。

3.1 什么场景必须用transformers

Ollama能跑大部分常见开源模型,但有两类场景它处理不了:

第一类是“新模型”。很多模型刚发布时只有safetensors格式,还没有被Ollama转换到GGUF。这时候你想第一时间跑起来,就得用transformers直接从Hugging Face加载。第二类是“要改模型的场景”。微调、PEFT(高效参数微调)、LoRA注入、模型评估、嵌入向量化等任务全都跑在transformers生态里,Ollama完全帮不上忙。

另外,如果你是做RAG(检索增强生成),需要把本地文档切块、嵌入、召回,然后用大模型做最终答案生成,那transformers配合sentence-transformers做嵌入模型,是当前资料最多、最不容易踩坑的方案。

3.2 bitsandbytes量化加载模型

transformers生态里最常用的量化工具是bitsandbytes,它提供的是“加载时量化”——模型权重在加载进显存的时候就转成4bit或8bit格式。这意味着你不需要预先转换模型文件,直接加载原始FP16权重即可,内存和显存占用却能大幅下降。

我用4bit加载一个7B模型的典型代码:

from transformers import AutoModelForCausalLM, AutoTokenizer, BitsAndBytesConfig
import torch

quantization_config = BitsAndBytesConfig(
    load_in_4bit=True,
    bnb_4bit_compute_dtype=torch.float16,   # 计算时用的精度
    bnb_4bit_quant_type="nf4",              # 量化类型,nf4 效果比 fp4 好
    bnb_4bit_use_double_quant=True,         # 二次量化,进一步省显存
)

model = AutoModelForCausalLM.from_pretrained(
    "Qwen/Qwen2.5-7B-Instruct",
    quantization_config=quantization_config,
    device_map="auto",
    torch_dtype=torch.float16,
)

tokenizer = AutoTokenizer.from_pretrained("Qwen/Qwen2.5-7B-Instruct")

这段代码跑完以后,模型的显存占用大概是6GB左右,相比FP16直接砍掉了一半还多。几个参数值得展开解释:

bnb_4bit_quant_type="nf4" ,NF4全称是NormalFloat4,是bitsandbytes提出的一种专门适配神经网络权重分布的数据类型。实测下来在同样的4bit精度下,NF4的困惑度比传统的FP4低不少,所以默认推荐NF4。

bnb_4bit_use_double_quant=True ,这个选项会对量化常数再做一次8bit量化,相当于把“压缩过的东西再压缩一次”,额外省下的显存大概是每个参数0.5bit左右,对7B模型大约是0.4GB。代价是加载时间稍微变长,但推理时几乎没有影响,我建议开着。

device_map="auto" ,这个参数非常关键。它让transformers自动决定每个层放在哪张显卡或CPU上。如果你是多卡用户,它会自动做模型并行;如果显存不够,它会把部分层offload到CPU内存,保证程序不崩。

3.3 生成参数和上下文长度的管理

transformers跑推理最灵活的地方是生成参数完全可控:

from transformers import TextStreamer

streamer = TextStreamer(tokenizer, skip_prompt=True)

messages = [{"role": "user", "content": "用Python写一个快速排序"}]
input_ids = tokenizer.apply_chat_template(
    messages, add_generation_prompt=True, return_tensors="pt"
).to(model.device)

output_ids = model.generate(
    input_ids,
    max_new_tokens=2048,       # 最多生成多少个新token
    do_sample=True,
    temperature=0.7,           # 温度,越小越保守
    top_p=0.9,                 # 核采样
    repetition_penalty=1.05,   # 重复惩罚
    streamer=streamer,         # 流式输出
)

很多人忽略的是 max_new_tokens 和模型上下文长度的关系。如果你用4bit量化跑模型,上下文长度会直接影响KV Cache的显存占用。我做过一个简单测试:7B模型,2048上下文时KV Cache占用约1.2GB,扩展到8192就直接翻四倍到4.8GB。所以千万别在没调整量化配置的情况下盲目拉长上下文,很容易导致显存溢出。

3.4 大模型推理时的显存优雅方案

讲个实际例子。我在一台24GB显存的机器上加载Qwen2.5-14B-Instruct的4bit版本时,按默认方式直接加载有时会OOM。根本原因不是权重放不下,而是生成阶段 max_new_tokens 设置太大,导致KV Cache分配超过了剩余显存。解决办法是先用 torch.cuda.max_memory_allocated() 观察实际占用,再分段生成——把生成拆成多轮,每轮限制输出长度,把中间的对话历史拼进去继续生成。

这里还有一个小技巧:如果显存实在紧张,可以给推理过程开启 torch.inference_mode() (PyTorch 2.x后常用 torch.no_grad() 的内部实现也差不多),把梯度的计算图省掉,能额外省下10%~20%的显存。很多人写推理程序习惯带着训练时代的代码习惯,把 requires_grad 默认留在True,白白浪费显存。

4. llama.cpp实践:把硬件性能榨到极限,边缘设备也能跑

llama.cpp是三者里最有“硬核感”的路线——它不依赖Python,是用C/C++写的推理框架,运行效率在CPU和消费级GPU上都非常能打。

4.1 为什么llama.cpp是性能和边缘部署的天花板

先说几个事实:llama.cpp利用SIMD指令集(AVX2、AVX512、NEON)做向量化计算,在CPU上跑7B模型能做到每秒10到15个token,这在Python环境里是不可想象的;它对ARM架构的适配做得极其到位,我在Jetson AGX Orin这类设备上跑7B模型,CPU推理速度能到8~10 token/s,配合CUDA offload还能提高一大截;它对GPU显存的利用做到了“按需分配”,不会像PyTorch那样预分配大量显存池。

llama.cpp的模型格式是GGUF,这是它自己定义的二进制格式,原生支持多种量化方案,包括前面Ollama里那些q4_K_M、q5_K_M等。所以理解llama.cpp的量化体系,也就理解了Ollama背后的原理。

4.2 从safetensors转GGUF并量化

完整的llama.cpp使用流程分三步。第一步,编译llama.cpp工具链:

git clone https://github.com/ggerganov/llama.cpp
cd llama.cpp
mkdir build && cd build
cmake .. -DLLAMA_CUBLAS=ON   # 有NVIDIA显卡时开启CUDA加速
cmake --build . --config Release -j 8

编译完成后,build/bin目录下会生成一堆工具,核心是 llama-cli (原来的main)、 llama-server (提供OpenAI兼容API)、 llama-quantize (量化工具)、 llama-gguf (格式转换工具)。

第二步,把Hugging Face的safetensors权重转换为GGUF格式:

python convert_hf_to_gguf.py /path/to/model-dir \
  --outfile /output/model.gguf \
  --outtype f16

这个转换脚本会读取模型的config.json和safetensors分片,输出一个f16精度的GGUF文件。注意新版的llama.cpp代码目录里,这个脚本位于 llama.cpp/convert_hf_to_gguf.py ,不同版本路径有差异,找不到就用 find . -name "convert*.py" 搜一下。

第三步,量化成你想要的精度:

./bin/llama-quantize /output/model.gguf /output/model-Q4_K_M.gguf Q4_K_M

量化完成后,这个Q4_K_M的GGUF文件就是最终交付物。它可以直接被llama.cpp的 llama-server 加载,也可以被Ollama通过 ollama create 命令导入(导入时需要一个Modelfile指定基础文件路径)。

4.3 在Jetson AGX Orin这类ARM设备上编译部署

边缘设备上跑llama.cpp是我近期做得最多的实验。Jetson AGX Orin自带的是ARM架构的CPU,不能直接用x86的预编译二进制,必须自己从源码编译。步骤和上面的CMake流程基本一致,但有两点区别:

一是要安装JetPack自带CUDA编译环境,CMake配置时用 -DLLAMA_CUBLAS=ON 没问题,但需要确保 nvcc 在PATH里。二是Jetson的CPU虽然性能不错,但功耗有上限,编译时建议加 -j 4 而不是 -j 8 ,不然容易触发温度墙导致编译失败。

部署完成后,跑模型的方式也很直接:

./bin/llama-cli \
  -m /models/qwen2.5-7b-q4_k_m.gguf \
  -p "给我讲一个关于机器人的短故事" \
  -n 512 \
  -t 8 \
  --temp 0.8

其中 -t 8 是线程数,Jetson AGX Orin有12核CPU(具体看型号),实测开8线程比开12线程更稳,因为要留一部分核心给系统调度。 -n 512 限制生成的token数,防止无限生成。

llama.cpp还自带一个高性能的HTTP服务端:

./bin/llama-server \
  -m /models/qwen2.5-7b-q4_k_m.gguf \
  --host 0.0.0.0 \
  --port 8080 \
  -c 4096 \
  --n-gpu-layers 99

加上 --n-gpu-layers 参数后,层会被尽量分配到GPU。Jetson AGX Orin的GPU和CPU共享内存带宽,实测下来把大部分层offload到GPU后,推理速度能提升1.5到2倍,所以能用GPU就别纯用CPU。

5. 量化原理与精度选择:为什么量化后模型还能这么聪明

很多人会质疑:把模型从16bit压到4bit,信息丢了一大半,模型怎么还能正常对话?这个疑问很合理,但要理解神经网络的权重冗余度远高于普通数据。

5.1 权重量化的底层逻辑

一个模型训练完成后,权重的概率分布通常是近似正态分布的,且绝大多数权重集中在某个小范围内。FP16里那16个bit,很多是用来表达尾数部分的精度,但推理时真正起到决策作用的权重可能只需要4~8bit的有效信息。量化的本质就是把连续分布的权重映射到有限的离散值上,用整型(INT8)或者低精度浮点(NF4、FP4)表示原来的高精度浮点。

按照“量化的对象”划分,常见方案有:

  • W8A8(weight 8bit,activation 8bit):权重和激活都是8bit,速度最快,适合AI加速芯片,精度损失很小。
  • W4A16(weight 4bit,activation 16bit):权重是4bit,激活保留16bit,这是Ollama和llama.cpp里Q4系列采用的主流方案,显存占用和精度平衡得最好。
  • KV Cache量化(比如Q8_0):KV Cache占用的显存非常大,把K、V矩阵从FP16折算到8bit能省一半显存,长上下文场景收益非常明显。

5.2 不同量化等级的实际效果对比

我用Qwen2.5-7B-Instruct在不同量化等级下做过一轮实际测试,供参考:

量化等级 模型体积 显存占用(推理) 生成速度(4090) 中文对话质量 代码生成质量
FP16 约14GB 约16GB 35 tok/s 优秀 优秀
Q8_0 约7.6GB 约9GB 52 tok/s 优秀 优秀
Q5_K_M 约5.2GB 约7GB 58 tok/s 良好 良好
Q4_K_M 约4.4GB 约6GB 63 tok/s 良好 良好
Q3_K_M 约3.8GB 约5GB 68 tok/s 一般 一般

从表格能看出,Q8_0和FP16的对话差距极小,但体积直接减半;Q4_K_M虽然体积再少1GB多,但中文复杂推理、长文本逻辑连贯性会开始出现轻微退化,代码生成偶尔会有不必要的删减。所以我的建议是:显存允许就上Q8_0或Q5_K_M,显存刚够再考虑Q4_K_M,Q3及以下慎用。

5.3 大模型如deepseek-r1-distill-llama-70b-w8a8的落地思路

热词里那个 deepseek-r1-distill-llama-70b-w8a8 是个典型的W8A8模型。所谓W8A8就是权重8bit、激活8bit,它最大的意义是适配AI加速芯片(比如国产昇腾芯片)和特定的高性能推理框架,因为整数运算在硬件上比浮点运算快得多。但这种模型如果不在专用芯片上跑,在普通显卡上反而不一定比Q4_K_M方案快。

如果要在消费级显卡上跑70B级别模型,W8A8体积在70GB左右,RTX 4090的24GB也装不下。这时候就得退一步,用4bit量化(GGUF的Q4_K_M或exl2的4bit方案),体积能压到40GB上下,配合多卡部署或者CPU+GPU混合加载才可行。所以模型选型时,不只是看量化格式是否“先进”,还要看你的硬件条件能不能吃下。

6. 常见问题与排查技巧实录

写本地部署文章不把坑说清楚,等于白写。以下是我在过去实践中遇到的典型问题,按出现频率排序:

6.1 Ollama拉模型下到一半失败

这个太常见了,尤其是国内网络环境。症状是 ollama pull 进度条卡住、超时报错,重试以后又从头开始。解决思路有两条:

一是设置镜像源环境变量。Ollama支持通过镜像源加速模型下载,在系统环境变量里加一条指向国内可访问镜像的变量,然后重启Ollama服务。网上教程很多,关键词搜“ollama 镜像源”就能找到最新的地址。

二是跳过Registry,直接从ModelScope下载GGUF文件再本地导入。操作方法:先在ModelScope找到模型的GGUF文件,下载到本地,然后写一个Modelfile:

FROM /absolute/path/to/model.gguf

再执行 ollama create my-model -f Modelfile 即可。这样完全绕开了Ollama官方下载通道,速度取决于你下载GGUF文件的速度,通常能跑满带宽。

6.2 Ollama在Win7上无法运行

Ollama官方从某个版本起就不再支持Windows 7了,因为底层构建依赖的Go工具链和TLS加密库要求新版系统。如果必须用Win7,我的建议是放弃Ollama,改用llama.cpp的Windows可执行文件(老版本能跑在Win7上),或者干脆换台新系统机器。这不是配置问题能解决的,是系统底层兼容性限制。

6.3 transformers加载模型时显存溢出

最典型的是直接 AutoModelForCausalLM.from_pretrained 加载FP16模型,在12GB显卡上跑7B模型OOM。优先考虑加 quantization_config 走4bit;其次确保 device_map="auto" ,让框架自动分配层到CPU/GPU;再不行就启用 offload_folder 参数,把部分层暂时卸载到硬盘(SSD)上。注意offload模式下推理速度会明显变慢,只适合内存也不够的极端情况。

6.4 量化后模型回答明显变差

我排查过几次所谓“量化导致模型变傻”的案例,最后发现大部分跟量化本身无关,而是以下三个原因:一是量化等级选得太低,比如用了Q2或Q3,这个没救,换Q4_K_M以上;二是上下文长度设置太短,模型“忘”了前面的信息,把 num_ctx 调大就行;三是采样参数设置太激进, temperature 过高导致乱答。实际对比下来,Q4_K_M模型配合 temperature=0.6~0.7 ,日常对话质量跟FP16差距微乎其微。

6.5 llama-server跨设备访问不到

在不同电脑上用浏览器访问llama-server时,如果一直连不上,先检查启动时有没有加 --host 0.0.0.0 。默认情况下llama-server只监听127.0.0.1,也就是只允许本机访问,不加这个参数,局域网内的其他设备自然连不上。另外注意防火墙,Windows和macOS都有入站规则拦截,要手动放行对应端口。

6.6 transformers版本和CUDA版本不匹配

加载模型时提示 CUDA extension failed 或 bitsandbytes not supported ,通常是因为bitsandbytes版本和新版PyTorch不匹配。最稳妥的解法是创建一个干净的虚拟环境,用 pip install transformers torch bitsandbytes accelerate 让pip自己解析依赖版本,不要手动指定过老的CUDA版bitsandbytes。实测transformers 4.40以上+bitorch 2.3以上在当前主流驱动上基本不会出问题。

6.7 本地部署后的并发能力

本地部署不是搞了个云服务,单张显卡能承载的并发很有限。Ollama默认是单请求串行处理,并发请求会排队。如果你做的是内部工具、个人助理,这个完全够用;如果要给团队用一个统一入口,建议在前面加一层请求队列或者直接上vLLM这类专为高吞吐设计的推理框架。用错工具问“为什么并发一高就OOM”,属于场景和工具不匹配,不是部署失败。


我在实际折腾中最大的一点体会是:本地部署大模型不是一个“跑起来就行”的终点,它会持续倒逼你理解硬件、理解模型结构、理解推理原理。当你为了在差异设备上跑同一个模型,亲手完成从safetensors到GGUF、再做Q4_K_M量化全流程的时候,你对大模型的理解会比单纯调API深刻得多。如果你也正在本地部署的路上,从Ollama起步快速看到效果,再用llama.cpp深挖性能边界,最后回过来用transformers处理真正“需要你控制模型”的任务——这三步走完,基本就出师了。

Logo

聚焦RDK与具身智能,汇集机器人开发教程、开源案例和技术交流

更多推荐