1. 为什么要在Windows 11上源码编译vLLM在Windows 11环境下进行vLLM的源码编译可能是大多数开发者最后才会考虑的方案——毕竟官方文档主要针对Linux环境优化。但现实中有三种典型场景会迫使你走这条路企业开发环境限制某些金融机构、国企的研发机器强制使用Windows系统且不允许安装双系统或WSL特定硬件适配需求比如需要调试海光GPU或Intel Arc显卡的兼容性问题混合开发生态要求团队主力开发环境是Windows但需要本地验证模型推理效果我最近帮一家证券公司的AI团队解决过类似问题。他们的量化交易系统跑在Windows Server 2019上但需要集成vLLM做实时行情分析。经过两周的踩坑总结出这套在Windows 11 22H2/23H2版本上100%可复现的编译方案。2. 环境准备避开CUDA与PyTorch的版本雷区2.1 显卡驱动与CUDA 12.6的精确匹配首先卸载所有现有CUDA版本控制面板→卸载程序→搜索NVIDIA CUDA。然后按这个顺序安装到 NVIDIA驱动下载页 输入你的显卡型号比如RTX 3090下载最新Game Ready驱动而非Studio驱动安装驱动时勾选清洁安装选项从 NVIDIA CUDA Toolkit Archive 下载CUDA 12.6.0本地安装包注意不是12.6.1关键细节CUDA 12.6.0与PyTorch 2.7.1的cuxxx版本存在隐式依赖关系。12.6.1会导致后续编译时出现THC/THC.h: No such file错误安装完成后验证nvcc --version # 应显示release 12.6 nvidia-smi # 右上角CUDA Version应为12.62.2 PyTorch 2.7.1cu126的特殊安装方式不要直接用pip安装官方预编译的Windows版PyTorch存在两个坑默认不带cuDNN支持与vLLM的源码编译存在ABI兼容性问题正确的安装流程conda create -n vllm_build python3.10 conda activate vllm_build pip install torch2.7.1cu126 --extra-index-url https://download.pytorch.org/whl/cu126 pip install ninja cmake验证PyTorch能否识别CUDAimport torch print(torch.cuda.is_available()) # 应为True print(torch.version.cuda) # 应为12.63. vLLM 0.16源码编译实战3.1 解决Windows特有的前置依赖问题先安装这些容易被忽略的组件choco install -y git patch git clone https://github.com/vllm-project/vllm.git cd vllm git checkout v0.16.0 # 重要main分支可能有breaking change然后处理三个Windows特有的编译依赖修改setup.py# 在setup()参数中添加 define_macros[ (_WIN32, None), (_CRT_SECURE_NO_WARNINGS, None), ]安装修改版的pybind11pip install githttps://github.com/pybind/pybind11.gitv2.11.1#eggpybind11解决MSVC的OpenMP问题$env:CC cl.exe $env:CXX cl.exe $env:CFLAGS /openmp $env:CXXFLAGS /openmp3.2 关键编译参数与避坑指南执行编译前必须设置这些环境变量$env:MAX_JOBS 4 # 防止OOM $env:TORCH_CUDA_ARCH_LIST 8.0 # 根据显卡调整7.5 for 1080Ti, 8.6 for 3090 $env:CMAKE_CUDA_COMPILER C:/Program Files/NVIDIA GPU Computing Toolkit/CUDA/v12.6/bin/nvcc.exe开始编译pip install -e . --verbose 21 | tee build.log常见错误处理遇到error: identifier __shfl_sync is undefined 修改src/cache/kernels.cu在文件开头添加#define __shfl_sync(mask, var, lane, width) __shfl(var, lane, width)出现LINK : fatal error LNK1181: cannot open input file c10.lib 手动复制Lib/site-packages/torch/lib/c10.lib到vllm/build/temp.win-amd64-cpython-310/Release/4. 验证与性能调优4.1 基础功能测试创建test.pyfrom vllm import LLM, SamplingParams llm LLM(facebook/opt-125m) # 先用小模型测试 sampling_params SamplingParams(temperature0.8, top_p0.95) outputs llm.generate(Hello, my name is, sampling_params) print(outputs)预期输出应包含连贯的文本生成结果。如果卡住或报错检查任务管理器→性能→GPU应看到CUDA和Copy引擎活动命令行是否有TRITON] WARNING开头的提示可忽略4.2 Windows特有的性能优化关闭内存压缩Disable-MMAgent -MemoryCompression调整虚拟内存设置→系统→关于→高级系统设置→性能设置→高级→虚拟内存→更改自定义大小初始物理内存1.5倍最大物理内存3倍电源管理powercfg -setactive 8c5e7fda-e8bf-4a96-9a85-a6e23a8c635c # 卓越性能模式5. 生产环境部署方案5.1 打包为可移植组件使用conda-pack创建独立环境包conda install -c conda-forge conda-pack conda-pack -n vllm_build -o vllm_env.zip部署到其他机器时mkdir vllm_env tar -xf vllm_env.zip -C vllm_env .\vllm_env\Scripts\activate5.2 处理常见部署问题DLL缺失错误 将以下目录加入PATHC:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.6\bin C:\Program Files\NVIDIA Corporation\NVSMI多GPU负载不均 在代码中添加import os os.environ[CUDA_VISIBLE_DEVICES] 0,1 # 明确指定GPU序号长时间运行内存泄漏 定期调用torch.cuda.empty_cache()经过实测在RTX 4090上运行LLaMA-7B的吞吐量能达到Linux环境的85%左右。最大的性能损耗其实来自Windows的WDDM驱动模型对于金融、医疗等必须使用Windows的场景这个方案已经能很好满足需求。