开源大模型部署调用指南
·
目录
1. 开源大模型与GPU配置
- 1.1 了解大模型参数
- 1.1.1 模型参数单位
- 1.1.2 模型参数精度
- 1.1.3 模型文本后缀
- 1.2 推理显存计算
- 1.3 训练显存计算
- 1.4 GPU选择指南
- 1.4.1 学习实践
- 1.4.2 工业应用
- 1.4.3 物理机 or 云服务
2. 开源大模型生态介绍
- 2.1 Llama3
- 2.2 GLM4
- 2.3 阿里-通义千问大模型技术生态
3. Qwen2模型私有化部署流程
- 3.1 开源大模型项目文件下载与项目文件结果介绍
- ModelScope开启GPU环境
- 本地项目文件下载与transformer库运行
- 3.2 使用ollama进行模型下载及调用
- 3.3 使用vLLM推理部署
更多推荐
所有评论(0)