DeepSeek 分布式推理集群部署

  1. 参考
  2. 步骤
  3. 与DeepSeek的问答
    1. 推荐架构
  4. 关键对比与选型建议
    1. 方案对比与推荐

参考

重点文章

步骤

# 避免内存碎片化
export PYTORCH_CUDA_ALLOC_CONF=expandable_segments:True

# 使用GPU卡,非必须 export NVIDIA_VISIBLE_DEVICES=0,1,3,4
# 4卡单节点 nohup vllm serve /root/.cache/huggingface/DeepSeek-R1-Distill-Llama-70B \ --served-model-name DeepSeek-R1-Distill-Llama-70B \ --tensor-parallel-size 4 \ --pipeline-parallel-size 1 \ --max-model-len 4096 \ --gpu-memory-utilization 0.80 \ --trust-remote-code \ --port 8009 > vllm_serve.log 2>&1 &
# 多卡多节点 nohup vllm serve /root/.cache/huggingface/DeepSeek-R1-Distill-Llama-70B \ --served-model-name DeepSeek-R1-Distill-Llama-70B \ --tensor-parallel-size 4 \ --pipeline-parallel-size 4 \ --max-model-len 4096 \ --gpu-memory-utilization 0.50 \ --trust-remote-code \ --port 8009 > vllm_serve.log 2>&1 &

# 非流式 curl --request POST \ -H "Content-Type: application/json" \ --url http://localhost:8009/v1/chat/completions \ --data '{"messages":[{"role":"user","content":"给我推荐中国适合旅游的方"}],"stream":false,"model":"DeepSeek-R1-Distill-Llama-70B"}'
# 流式 curl --request POST \ -H "Content-Type: application/json" \ --url http://localhost:8009/v1/chat/completions \ --data '{"messages":[{"role":"user","content":"给我推荐中国适合旅游的方"}],"stream":true,"model":"DeepSeek-R1-Distill-Llama-70B"}'

/usr/bin/python3 /usr/local/bin/vllm serve /root/.cache/huggingface/DeepSeek-R1-Distill-Llama-70B –served-model-name DeepSeek-R1-Distill-Llama-70B –tensor-parallel-size 16 –pipeline-parallel-size 4 –max-model-len 4096 –gpu-memory-utilization 0.90 –trust-remote-code –port 8009

发现CUDA显存不够时,在前面添加了变量

NVIDIA_VISIBLE_DEVICES=0,1,3,4 /usr/bin/python3 /usr/local/bin/vllm serve /root/.cache/huggingface/DeepSeek-R1-Distill-Llama-70B –served-model-name DeepSeek-R1-Distill-Llama-70B –tensor-parallel-size 16 –pipeline-parallel-size 4 –max-model-len 4096 –gpu-memory-utilization 0.70 –trust-remote-code –port 8009

与DeepSeek的问答

嗯,分析的非常全面了。现在你需要作为我的老师,来讲解其中的一起技术细节以及我不清楚的名词解释,以便我能更好的理解这个方案

  1. 什么是半精度? FP16是半精度,FP32是全精度吗? FP8是多少?和后面说的INT8是一个概念吗?
  2. 我知道471B是指的参数量,是4710亿个参数,那为什么FP16半精度就可以求得总参数需要得显存是 942G呢?
  3. 什么是量化?如何确定一个模型是否支持量化?一般开源模型是会明确告诉大家这个是支持量化的吗?
  4. 如何知道大模型的transformer层数?一般会告诉吗?拆分案例里面 流水线和张量拆分是可以确定的值吗?

推荐架构

组件 选型 说明
并行框架 Megatron-LM + DeepSpeed 支持张量并行、流水线并行,与HuggingFace兼容
推理引擎 NVIDIATriton+ FasterTransformer Triton管理服务化,FasterTransformer优化GPU内核
量化工具 AWQ(Activation-aware Weight Quantization) 对大模型量化损失小,支持Triton部署
通信库 NCCL + OpenMPI 启用InfiniBand RDMA,需设置NCCL_IB_HCA环境变量

关键对比与选型建议

组件 适用场景 优势 局限性
Megatron-LM 超大规模模型训练/推理 极致张量并行效率,定制内核 配置复杂,需深度定制模型代码
DeepSpeed 多节点训练/显存优化 ZeRO显存优化,流水线并行简单易用 流水线并行有气泡开销
Triton 生产环境多模型服务化 高吞吐、动态批处理,支持异构硬件 对定制化内核支持需额外开发
FasterTransformer 低延迟、长序列推理 内核级优化,显存管理灵活 仅支持Transformer类模型

方案对比与推荐

维度 推荐架构(Megatron+DeepSpeed+Triton) KubeRay/KubeAI方案
模型并行支持 ✅ 原生支持张量并行(Megatron)、流水线并行(DeepSpeed),拆分逻辑成熟,已验证支持>1T参数。 ❌ KubeRay需通过Ray Train自定义并行逻辑,对超大规模模型拆分缺乏现成支持。
量化与显存优化 ✅ 深度集成AWQ量化+FasterTransformer显存管理,单卡可压榨至极限显存利用率。 ❌ 依赖外部量化工具,显存优化需自行实现(如手动分片),效率较低。
RDMA通信性能 ✅ 通过NCCL+OpenMPI直接控制IB设备,设置NCCL_IB_HCA可达到90%+带宽利用率。 ⚠️ KubeRay依赖Ray的通信抽象层,需额外配置ray[default]的IB插件,实测带宽利用率约70-80%。
服务化与扩缩容 ✅Triton原生支持动态批处理+K8s HPA,扩缩容延迟<30秒。 ✅ KubeRay的Ray Serve同样支持HPA,但缺乏Triton的行业生态(如
开发与维护成本 ⚠️ 需熟悉Megatron/DeepSpeed的分布式配置,镜像构建较复杂。 ✅ KubeRay提供Python-centric API,适合快速迭代,但需接受性能折损。

64卡A30,部署DeepSeek-R1 671B推理模型,FP16半精度,vllm优化,8张量并行+8流水并行,所需1.35TB内存,实际1.5TB内存,可达到的吞吐量1020tokens/s


转载请注明来源,欢迎对文章中的引用来源进行考证,欢迎指出任何有错误或不够清晰的表达。可以在下面评论区评论,也可以邮件至 365433079@qq.com