H200 单机 8 卡部署 Qwen3.5-397B-A17B

  1. 需求
  2. 启动参数
  3. QwenCode setting配置

需求

  1. 一台8卡H200算力服务器
  2. vllm需要 0.10.12+

vllm官方给的启动参数方案

https://docs.vllm.ai/projects/recipes/en/latest/Qwen/Qwen3.5.html

h200可以下载vllm/vllm-openai:nightly

如果是B200这种Blackwall架构,需要使用vllm/vllm-openai:cu130-nightly

启动参数

vllm serve Qwen/Qwen3.5-397B-A17B-FP8 \
  --tensor-parallel-size 8 \
  --pipeline-parallel-size 1 \  # 单节点无需PP
  --max-model-len 262144 \
  --gpu-memory-utilization 0.90 \
  --reasoning-parser qwen3 \
  --enable-auto-tool-choice \
  --tool-call-parser qwen3_coder \
  --enable-prefix-caching \  # 加速长上下文
  --enforce-eager \  # 如遇CUDA graph问题可添加
  --mm-encoder-tp-mode data \ # 多模态支持
  --mm-processor-cache-type shm \ # 共享内存
  --dtype bfloat16  # H200支持BF16原生加速

QwenCode setting配置

"env": {
  "VLLM_API_KEY": "not-needed"
},
"modelProviders": {
  "openai": [
    {
      "id": "/root/shared/large/vlm/Qwen3.5-397B-A17B",
      "name": "[Local VLLM] Qwen3.5-397B-A17B",
      "baseUrl": "http://172.16.3.42:32621/v1",
      "envKey": "VLLM_API_KEY",
      "generationConfig": {
        "model": "/root/shared/large/vlm/Qwen3.5-397B-A17B",
        "temperature": 0.6,
        "top_p": 0.95,
        "max_tokens": 32768,
        "extra_body": {
          "enable_thinking": true
        }
      }
    },

2026/02/28 - B200上运行Qwen3.5满血版

以上仅为 QwenCode 的配置片段,其余字段按本地环境补全。


转载请注明来源,欢迎对文章中的引用来源进行考证,欢迎指出任何有错误或不够清晰的表达。可以在下面评论区评论,也可以邮件至 365433079@qq.com