Eigent 本地模型部署：Ollama、vLLM 接入与验证完整教程

【免费下载链接】eigent Eigent: The Open Source Cowork Desktop - Local and Free Alternative to Claude Cowork and Codex 项目地址: https://gitcode.com/GitHub_Trending/ei/eigent

每月翻到模型 API 账单，或者担心代码、文档被上传到云端，是很多自建站开发者的常态。Eigent 是一款本地运行的开源 AI 工作平台，支持把 Ollama、vLLM 这类本地推理服务接进来。服务跑在自己的设备上，平台只需要填一个地址。

Eigent 本地模型部署是什么

原理不复杂。Ollama、vLLM、SGLang、LM Studio 这些本地推理服务都会暴露 OpenAI 兼容 API。Eigent 向该地址发起请求，地址和模型名对得上，模型就能直接用于会话，不需要额外适配层。

如何挑选本地推理平台

平台	默认端点	适用场景
Ollama	http://localhost:11434/v1	想最快跑通一条链路
vLLM	http://localhost:8000/v1	硬件较好，追求吞吐性能
SGLang	http://localhost:30000/v1	长文本生成，重视效率优化
LM Studio	http://localhost:1234/v1	不想碰命令行，偏好图形界面

建议：第一次接入用 Ollama，步骤最少。显卡显存充裕、想压榨推理性能时换 vLLM。只想先体验本地模型效果，用 LM Studio 几分钟就能完成。

Ollama 本地模型快速启动

1. 拉取模型：

   ollama pull qwen2.5:7b
   

2. Ollama 会同时启动本地服务，默认监听 11434 端口。

3. 在 Eigent 设置中选择 Ollama，端点URL 填 http://localhost:11434/v1，模型类型 填 qwen2.5:7b。

4. 端点如果漏写 /v1 后缀，Eigent 会自动补上，不必担心手误。

vLLM 服务启动命令

1. 启动服务，一行命令即可：

   vllm serve Qwen/Qwen2.5-1.5B-Instruct
   

2. 服务默认监听 8000 端口。

3. 端点URL 填 http://localhost:8000/v1，模型类型 填实际加载的模型名。

4. SGLang 的接法相同，默认端点为 http://localhost:30000/v1。

LM Studio：图形化选择

• 在 LM Studio 界面内下载并加载模型文件，全程无需命令行。
• 打开本地服务器开关，确认监听端口为 1234。
• Eigent 中选择 LM Studio，端点URL 使用默认的 http://localhost:1234/v1。
• 模型类型 填与所下载文件对应的模型标识。
• 若连接异常，先检查服务器开关是否仍处于开启状态。

在 Eigent 中接入并验证连接

参数填完后，在设置区点击验证。Eigent 会向本地服务发一次请求，确认地址可达、模型可用。验证通过后，把该模型设为默认工作模型，后续会话即默认走本地推理。各平台端点与校验逻辑可参考源码 src/pages/Agents/localModels.ts。

常见问题速查

现象	可能原因	解决方式
验证失败	服务未启动或端口被占用	查看终端进程，释放端口后重试
连接超时	防火墙拦截本地端口	放行 11434、8000、1234 等对应端口
模型找不到	模型类型与实际加载名不一致	对照服务端返回的模型列表逐项核对
推理速度慢	模型相对硬件过大	换小参数模型，或调低生成长度

把推理放回本地，一次解决了两件事：数据不出自己的机器，账单也不再随调用量增长。对隐私和成本都敏感的场景，本地模型接入是最直接的做法。

【免费下载链接】eigent Eigent: The Open Source Cowork Desktop - Local and Free Alternative to Claude Cowork and Codex 项目地址: https://gitcode.com/GitHub_Trending/ei/eigent