DeepSeek R1 全功能部署与维护指南
1215 字
预计阅读 5 分钟
硬件配置与环境准备
基础版配置(1.5 B-7 B)
模型版本
1.5 B、7 B(量化与非量化)
显存需求
- 1.5 B:纯 CPU 推理(无需显存)或最低 4 GB 显存
- 7 B(FP 16):需 14 GB 显存(如 RTX 3090+)
- 7 B(Q 4_K_M 量化):显存降至 6.8 GB
硬件要求
- CPU:Intel i5-8500+
- 内存:16 GB+
- GPU:NVIDIA RTX 3090+(8 B)、NVIDIA RTX 3080+(14 B)
中等性能版(8 B-14 B)
模型版本
8 B、14 B
显存需求
- 8 B(FP 16):需 8-10 GB 显存
- 14 B(FP 16):需 16 GB+显存
- 量化优化:通过 4-bit 量化可降低显存 30-50%
完整部署流程
Ollama 环境安装
Windows/macOS
Bash
curl -fsSL https://ollama.com/install.sh | sh模型存储路径配置
Windows:C:\Users\<用户名>\.ollama\models
模型运行与测试
Bash
ollama run deepseek-r1:7bOpen WebUI 可视化部署
Bash
docker run -d -p 3000:8080 --gpus all -v open-webui:/app/backend/data --name open-webui ghcr.io/open-webui/open-webui:cuda运维管理
模型版本删除
命令行删除:
Bash
ollama list
ollama rm deepseek-r1:8b手动清理:删除模型文件:
Bash
deepseek-r1-8b.bin
deepseek-r1-8b.manifest优化方案
量化技术
使用 GGUF 格式实时量化(Q4_K_M)
混合计算策略
Bash
OLLAMA_GPU_LAYER=auto_split注意事项
- 删除模型前建议备份
.bin文件 - 量化会轻微降低模型精度
- 多卡部署需设置
CUDA_VISIBLE_DEVICES环境变量
Ollama 常用命令
列出本地可用的模型
Bash
ollama list删除模型
Bash
ollama rm 'model_name'