1. Ollama 本地大模型运行环境部署指南

作为AI从业者，我们经常需要在本地测试各种开源大语言模型。Ollama作为当前最受欢迎的本地大模型运行框架，其简洁的CLI操作方式和丰富的模型库支持，让开发者能够快速在本地部署LLaMA、Mistral等主流大模型。本文将详细介绍从零开始部署Ollama的全过程，包含我在多个平台实测中的经验技巧。

2. 环境准备与基础安装

2.1 系统兼容性检查

Ollama目前支持三大主流平台：

• macOS（建议10.15+）
• Linux（Ubuntu/Debian系最佳）
• Windows（需WSL2环境）

注意：Windows原生支持正在开发中，目前建议通过WSL2使用以获得完整功能

2.2 各平台安装方法

macOS安装（Homebrew方式）

brew install ollama

安装后会自动创建 ~/.ollama 目录用于存储模型和配置

Linux安装（通用脚本）

curl -fsSL https://ollama.com/install.sh | sh

脚本会自动完成以下操作：

1. 创建ollama用户和用户组
2. 设置systemd服务
3. 配置环境变量

Windows/WSL2安装

wget https://ollama.com/download/ollama-linux-amd64
chmod +x ollama-linux-amd64
sudo mv ollama-linux-amd64 /usr/bin/ollama

3. 模型管理与使用

3.1 基础模型操作

查看可用模型列表：

ollama list

拉取LLaMA2 7B模型：

ollama pull llama2

运行模型交互会话：

ollama run llama2

3.2 自定义模型配置

创建Modelfile示例：

FROM llama2

# 设置系统提示词
SYSTEM """
你是一个专业的AI助手，回答应当简洁专业
"""

# 调整温度参数
PARAMETER temperature 0.7

构建自定义模型：

ollama create mymodel -f ./Modelfile

4. 高级配置与优化

4.1 性能调优参数

在~/.ollama/config.json中添加：

{
  "num_ctx": 4096,
  "num_gpu_layers": 40,
  "main_gpu": 0,
  "low_vram": false
}

4.2 多GPU配置

NVIDIA多卡环境需设置：

export CUDA_VISIBLE_DEVICES=0,1
ollama serve

5. 常见问题排查

5.1 内存不足错误

症状： OOM: not enough memory 解决方案：

• 减小num_ctx参数值
• 使用--low-vram模式
• 换用更小参数的模型版本

5.2 显卡驱动问题

NVIDIA显卡需确认：

1. 已安装正确版本的CUDA Toolkit
2. nvidia-smi能正常显示显卡状态
3. 已安装对应版本的NVIDIA驱动

6. 生产环境部署建议

对于需要长期运行的场景，建议：

1. 使用systemd管理服务：

[Unit]
Description=Ollama Service
After=network.target

[Service]
ExecStart=/usr/bin/ollama serve
User=ollama
Group=ollama
Restart=always

[Install]
WantedBy=multi-user.target

2. 配置日志轮转：

sudo cp /var/log/ollama.log /var/log/ollama.log.1
sudo truncate -s 0 /var/log/ollama.log

7. 安全注意事项

1. 模型文件校验：

ollama pull --verify=true llama2

2. 网络隔离建议：

• 生产环境建议部署在内网
• 如需公网访问，应配置HTTPS反向代理
• 限制可访问IP范围