Docker 启动8卡 GPU,nccl,无内存锁定限制
docker run -itd -v /data/public/:/root/public -v /data1/localData/:/root/localData -p 2311:22 -p 172.16.1.207:3111-3121:23330-23340 --gpus=8 --shm-size=64g --ipc=host --ulimit memlock=-1 --cap-add=SYS_ADMIN -e NCCL_DEBUG=INFO -e NCCL_SHM_DISABLE=0 --name=gc harbor.example.com/nvidia/pytorch:23.12-py3-sjy
--gpus=8指定GPU数量--shm-size=64g设置共享内存/dev/shm大小- 目的: 深度学习框架(如PyTorch)会使用共享内存来加速数据加载(Dataloader使用多进程时),尤其是在使用大量小文件数据集时,增大共享内存可以避免瓶颈。
ipc=host: 让容器使用宿主机的IPC(进程间通信)命名空间- 目的: 允许容器内的进程与宿主机上的进程(或其他使用
--ipc=host的容器)通过共享内存等方式进行通信。这对于多容器协同训练或使用某些高性能库是必要的。
- 目的: 允许容器内的进程与宿主机上的进程(或其他使用
--ulimit memlock=-1: 设置进程可锁定的内存地址空间为无限制。- 目的: 某些高性能计算和网络库(如NVIDIA NCCL、RDMA)需要锁定大量内存以获得最佳性能。这个参数避免了因此产生的权限错误。
--cap-add=SYS_ADMIN: 给容器授予SYS_ADMIN能力(一组系统管理权限)。-e NCCL_DEBUG=INFO: 设置NCCL(NVIDIA Collective Communications Library)的日志级别为INFO。- 目的: 在运行分布式训练时,输出更详细的NCCL通信日志,便于调试连接、同步等问题。
-e NCCL_SHM_DISABLE=0: 明确启用NCCL的共享内存传输方式。(0表示启用,1表示禁用)- 目的: 确保NCCL在单节点多GPU通信时使用共享内存,这是最快的方式。虽然默认就是启用的,但这里显式设置以确保万无一失。
启动推理服务
vllm serve /root/public/vlm/InternVL3-38B-AWQ/ --quantization awq --trust_remote_code -tp=2 --max_model_len=4096 --max_num_seq=128 --port 23330 --gpu-memory-utilization 0.8 --api-key token-abc123
--quantization awq: 明确指定模型使用AWQ(Activation-aware Weight Quantization)量化格式。这必须与模型实际使用的量化方式一致。--trust_remote_code: 信任并执行从Hub加载的模型中的自定义代码。- 目的:对于像InternVL这类非标准架构的模型,其模型定义可能不在vLLM或Transformers库的默认支持列表中,需要这个参数来加载自定义的模型代码。
- 注意:这是一个安全权衡,只应在信任模型来源的情况下使用
-tp=2:--tensor-parallel-size=2的简写。启用Tensor并行,将模型拆分到2块GPU上。- 目的:对于一个38B的模型,即使经过量化,单张GPU也可能无法容纳。通过Tensor并行,将模型的不同层分布到多块GPU上,共同承担显存压力和计算负载。这是推理超大模型的必备技术。
--max_model_len=4096: 限制模型的最大上下文长度(Context Length)为4096个token。- 目的:1) 控制单次请求的最大显存占用。2) 防止过长的输入导致计算资源耗尽。这个值设得越低,能同时处理的请求就越多(吞吐量越高),但会牺牲处理长文本的能力。
--max_num_seq=128: 设置服务器最大同时处理的序列数(比如请求队列深度)为128。- 目的:限制并发量,防止过多的请求压垮服务器,起到负载保护的作用。
--gpu-memory-utilization 0.8: 设置vLLM引擎的**GPU显存利用率目标为80%**。- 目的:vLLM有一个高级特性叫PagedAttention,它像操作系统管理内存一样管理KV Cache。这个参数不是指模型权重占多少显存,而是指允许vLLM使用GPU总显存的80%来存储KV Cache和处理计算。保留20%的余地为系统和CU上下文使用,可以提高稳定性和效率。这是一个非常重要的调优参数。
AWQ量化
lmdeploy lite auto_awq \ # 使用lmdeploy的lite模块执行自动AWQ量化
$HF_MODEL \ # 指定要量化的原始模型路径
--calib-dataset 'wikitext2' \ # 指定用于校准的数据集
--calib-samples 128 \ # 从数据集中抽取128个样本用于校准
--calib-seqlen 2048 \ # 每个校准样本的序列长度(token数)为2048
--w-bits 4 \ # 将权重量化为4比特(INT4)
--w-group-size 128 \ # 量化分组大小为128
--batch-size 1 \ # 校准时的批处理大小为1
--work-dir $WORK_DIR \ # 指定量化后模型保存的工作目录
> $LOG_FILE 2>&1 & # 将标准输出和错误输出重定向到日志文件,并在后台运行
lmdeploy lite auto_awq:LMDeploy工具中专门用于执行AWQ量化的命令。lite模块包含各种轻量化处理工具。--calib-dataset 'wikitext2':- wikitext2 是一个经典的文本数据集,常用于语言模型的评估和校准。它的文本质量高、内容丰富,非常适合作为量化校准源。
- LMDeploy会自动从Hugging Face Hub下载这个数据集。
--calib-samples 128:- 不需要使用整个数据集,128个样本通常足以让算法统计出激活值的分布特征,从而找到好的缩放系数。
- 这是一个权衡点:样本太少,统计不准;样本太多,校准时间变长,但收益递减。128是一个常用值。
--calib-seqlen 2048:- 这定义了每个样本的上下文长度。2048意味着每个样本由2048个token组成。
- 这个值应该与你的目标推理场景相匹配。如果你的应用通常处理长文本,设大一点(如4096)可能更好;如果是短对话,可以设小一点。它会影响校准的准确性。
--w-bits 4:- 量化目标位宽,4比特是AWQ的典型配置,在模型大小(减少75%)和精度之间取得了很好的平衡。
--w-group-size 128:- 这是AWQ的一个关键参数。它指定了分组量化(Group-wise Quantization) 的组大小。
- 原理:不是对整个张量或整个通道使用一个缩放系数,而是将权重分成更小的组(每组128个元素),为每个组分别寻找独立的缩放系数。
- 优势:比每通道量化更精细,能更好地保护组内的重要权重,从而进一步提升量化后的模型性能。默认值通常是128。
--batch-size 1:- 在进行校准时的前向传播过程中,使用的批处理大小(Batch Size)。
- 设置为1通常是为了避免GPU内存溢出(OOM),尤其是在量化38B这种大模型时。如果GPU内存充足,可以适当增大以加速校准过程。
--work-dir $WORK_DIR:- 量化完成后,所有产出文件将保存在这个目录中。这些文件通常包括:
- 量化后的模型权重(通常是
.pt或.safetensors文件)。 - 量化参数配置文件(如
quantization_config.json)。 - 其他必要的模型配置文件(如
config.json)。
- 量化后的模型权重(通常是
- 之后,你可以使用LMDeploy的推理引擎直接加载这个目录中的模型进行高效推理。
你的这条命令是在执行一个精密且自动化的过程:它使用128个长度为2048的WikiText2文本来分析InternVL-38B模型每个权重的重要性,然后为每128个权重为一组寻找最优的缩放保护策略,最终生成一个高性能的4比特量化模型,并将其保存到$WORK_DIR中。这个过程最大限度地保留了原模型的能力,同时将其大小减少了约75%,极大地提升了推理效率。
- 量化完成后,所有产出文件将保存在这个目录中。这些文件通常包括:
转载请注明来源,欢迎对文章中的引用来源进行考证,欢迎指出任何有错误或不够清晰的表达。可以在下面评论区评论,也可以邮件至 365433079@qq.com