参考
- DeepSeek R1 模型部署快速指南–机器学习平台-火山引擎
- DeepSeek带来的Deepshock,一次看懂DeepSeek - 华为云开发者联盟 - 博客园
- https://docs.skypilot.co/en/v0.7.0/reference/kubernetes/kubernetes-getting-started.html
使用k8s来部署skypilot,运行DeepSeek
重点文章
步骤
# 避免内存碎片化
export PYTORCH_CUDA_ALLOC_CONF=expandable_segments:True
# 使用GPU卡,非必须
export NVIDIA_VISIBLE_DEVICES=0,1,3,4
# 4卡单节点
nohup vllm serve /root/.cache/huggingface/DeepSeek-R1-Distill-Llama-70B \
--served-model-name DeepSeek-R1-Distill-Llama-70B \
--tensor-parallel-size 4 \
--pipeline-parallel-size 1 \
--max-model-len 4096 \
--gpu-memory-utilization 0.80 \
--trust-remote-code \
--port 8009 > vllm_serve.log 2>&1 &
# 多卡多节点
nohup vllm serve /root/.cache/huggingface/DeepSeek-R1-Distill-Llama-70B \
--served-model-name DeepSeek-R1-Distill-Llama-70B \
--tensor-parallel-size 4 \
--pipeline-parallel-size 4 \
--max-model-len 4096 \
--gpu-memory-utilization 0.50 \
--trust-remote-code \
--port 8009 > vllm_serve.log 2>&1 &
# 非流式
curl --request POST \
-H "Content-Type: application/json" \
--url http://localhost:8009/v1/chat/completions \
--data '{"messages":[{"role":"user","content":"给我推荐中国适合旅游的方"}],"stream":false,"model":"DeepSeek-R1-Distill-Llama-70B"}'
# 流式
curl --request POST \
-H "Content-Type: application/json" \
--url http://localhost:8009/v1/chat/completions \
--data '{"messages":[{"role":"user","content":"给我推荐中国适合旅游的方"}],"stream":true,"model":"DeepSeek-R1-Distill-Llama-70B"}'
/usr/bin/python3 /usr/local/bin/vllm serve /root/.cache/huggingface/DeepSeek-R1-Distill-Llama-70B –served-model-name DeepSeek-R1-Distill-Llama-70B –tensor-parallel-size 16 –pipeline-parallel-size 4 –max-model-len 4096 –gpu-memory-utilization 0.90 –trust-remote-code –port 8009
发现CUDA显存不够时,在前面添加了变量
NVIDIA_VISIBLE_DEVICES=0,1,3,4 /usr/bin/python3 /usr/local/bin/vllm serve /root/.cache/huggingface/DeepSeek-R1-Distill-Llama-70B –served-model-name DeepSeek-R1-Distill-Llama-70B –tensor-parallel-size 16 –pipeline-parallel-size 4 –max-model-len 4096 –gpu-memory-utilization 0.70 –trust-remote-code –port 8009
与DeepSeek的问答
嗯,分析的非常全面了。现在你需要作为我的老师,来讲解其中的一起技术细节以及我不清楚的名词解释,以便我能更好的理解这个方案
- 什么是半精度? FP16是半精度,FP32是全精度吗? FP8是多少?和后面说的INT8是一个概念吗?
- 我知道471B是指的参数量,是4710亿个参数,那为什么FP16半精度就可以求得总参数需要得显存是 942G呢?
- 什么是量化?如何确定一个模型是否支持量化?一般开源模型是会明确告诉大家这个是支持量化的吗?
- 如何知道大模型的transformer层数?一般会告诉吗?拆分案例里面 流水线和张量拆分是可以确定的值吗?
推荐架构
| 组件 | 选型 | 说明 |
|---|---|---|
| 并行框架 | Megatron-LM + DeepSpeed | 支持张量并行、流水线并行,与HuggingFace兼容 |
| 推理引擎 | NVIDIATriton+ FasterTransformer | Triton管理服务化,FasterTransformer优化GPU内核 |
| 量化工具 | AWQ(Activation-aware Weight Quantization) | 对大模型量化损失小,支持Triton部署 |
| 通信库 | NCCL + OpenMPI | 启用InfiniBand RDMA,需设置NCCL_IB_HCA环境变量 |
关键对比与选型建议
| 组件 | 适用场景 | 优势 | 局限性 |
|---|---|---|---|
| Megatron-LM | 超大规模模型训练/推理 | 极致张量并行效率,定制内核 | 配置复杂,需深度定制模型代码 |
| DeepSpeed | 多节点训练/显存优化 | ZeRO显存优化,流水线并行简单易用 | 流水线并行有气泡开销 |
| Triton | 生产环境多模型服务化 | 高吞吐、动态批处理,支持异构硬件 | 对定制化内核支持需额外开发 |
| FasterTransformer | 低延迟、长序列推理 | 内核级优化,显存管理灵活 | 仅支持Transformer类模型 |
方案对比与推荐
| 维度 | 推荐架构(Megatron+DeepSpeed+Triton) | KubeRay/KubeAI方案 |
|---|---|---|
| 模型并行支持 | ✅ 原生支持张量并行(Megatron)、流水线并行(DeepSpeed),拆分逻辑成熟,已验证支持>1T参数。 | ❌ KubeRay需通过Ray Train自定义并行逻辑,对超大规模模型拆分缺乏现成支持。 |
| 量化与显存优化 | ✅ 深度集成AWQ量化+FasterTransformer显存管理,单卡可压榨至极限显存利用率。 | ❌ 依赖外部量化工具,显存优化需自行实现(如手动分片),效率较低。 |
| RDMA通信性能 | ✅ 通过NCCL+OpenMPI直接控制IB设备,设置NCCL_IB_HCA可达到90%+带宽利用率。 |
⚠️ KubeRay依赖Ray的通信抽象层,需额外配置ray[default]的IB插件,实测带宽利用率约70-80%。 |
| 服务化与扩缩容 | ✅Triton原生支持动态批处理+K8s HPA,扩缩容延迟<30秒。 | ✅ KubeRay的Ray Serve同样支持HPA,但缺乏Triton的行业生态(如 |
| 开发与维护成本 | ⚠️ 需熟悉Megatron/DeepSpeed的分布式配置,镜像构建较复杂。 | ✅ KubeRay提供Python-centric API,适合快速迭代,但需接受性能折损。 |
64卡A30,部署DeepSeek-R1 671B推理模型,FP16半精度,vllm优化,8张量并行+8流水并行,所需1.35TB内存,实际1.5TB内存,可达到的吞吐量1020tokens/s
转载请注明来源,欢迎对文章中的引用来源进行考证,欢迎指出任何有错误或不够清晰的表达。可以在下面评论区评论,也可以邮件至 365433079@qq.com