需求
- 一台8卡H200算力服务器
- vllm需要 0.10.12+
vllm官方给的启动参数方案
https://docs.vllm.ai/projects/recipes/en/latest/Qwen/Qwen3.5.html
h200可以下载vllm/vllm-openai:nightly
如果是B200这种Blackwall架构,需要使用vllm/vllm-openai:cu130-nightly
启动参数
vllm serve Qwen/Qwen3.5-397B-A17B-FP8 \
--tensor-parallel-size 8 \
--pipeline-parallel-size 1 \ # 单节点无需PP
--max-model-len 262144 \
--gpu-memory-utilization 0.90 \
--reasoning-parser qwen3 \
--enable-auto-tool-choice \
--tool-call-parser qwen3_coder \
--enable-prefix-caching \ # 加速长上下文
--enforce-eager \ # 如遇CUDA graph问题可添加
--mm-encoder-tp-mode data \ # 多模态支持
--mm-processor-cache-type shm \ # 共享内存
--dtype bfloat16 # H200支持BF16原生加速
QwenCode setting配置
"env": {
"VLLM_API_KEY": "not-needed"
},
"modelProviders": {
"openai": [
{
"id": "/root/shared/large/vlm/Qwen3.5-397B-A17B",
"name": "[Local VLLM] Qwen3.5-397B-A17B",
"baseUrl": "http://172.16.3.42:32621/v1",
"envKey": "VLLM_API_KEY",
"generationConfig": {
"model": "/root/shared/large/vlm/Qwen3.5-397B-A17B",
"temperature": 0.6,
"top_p": 0.95,
"max_tokens": 32768,
"extra_body": {
"enable_thinking": true
}
}
},
2026/02/28 - B200上运行Qwen3.5满血版
以上仅为 QwenCode 的配置片段,其余字段按本地环境补全。
转载请注明来源,欢迎对文章中的引用来源进行考证,欢迎指出任何有错误或不够清晰的表达。可以在下面评论区评论,也可以邮件至 365433079@qq.com