vllm是加速模型推理的框架不同版本支持的模型不同qwen2.5.vl-3B、qwen3-VL-8B模型需要的vllm及相关依赖版本vllm0.11.0torch2.6.0tranformers4.57.1flash-attn2.7.4.post1 abi false还是true取决于torch安装的版本可通过python -c import torch; print(torch._C._GLIBCXX_USE_CXX11_ABI)查看torch是否支持abicuda12.4下载vllm教程由于需要适配本地编译坏境pytorch、cuda、flash-attn需要根据官网教程从源码构建本地编译git clone下载vllm项目git checkout切换到0.11.0版本cd vllm python use_existing_torch.py pip install -r requirements/build.txt pip install --no-build-isolation -e .pip install --no-build-isolation -e .需要拉去相关依赖之后再开启编译时间
