vllm基于uv安装本地的.whl

Posted on Views:

目的

为了解决源码编译速度慢问题，直接用release构建包安装vllm + cuda129。

env

  • ubuntu22.04
  • NVIDIA-A100 cuda12.8

1. 在当前虚拟环境中直接安装

下载最新版本

如果你已经激活 locally 的虚拟环境，或者想让 uv 自动在当前目录的 .venv 中安装，可以直接运行：

1
2
3
4
5
6
7
8
9
10
# 1.1uv py3.10
uv venv --python 3.10
source .venv/bin/activate
uv pip install vllm-0.23.0+cu129-cp38-abi3-manylinux_2_28_x86_64.whl

# 1.2install whl
uv pip install vllm-0.23.0+cu129-cp38-abi3-manylinux_2_28_x86_64.whl

# 1.3国内加速
uv run pip install vllm-0.23.0+cu129-cp38-abi3-manylinux_2_28_x86_64.whl --extra-index-url https://mirrors.aliyun.com/pytorch-wheels/cu129

2. 在特定的项目中作为依赖管理（推荐）

如果你使用的是 uv 的新版项目管理功能（类似 poetry 或 npm），想把它作为项目的正式依赖：

1
uv add vllm-0.23.0+cu129-cp38-abi3-manylinux_2_28_x86_64.whl

这会自动把该 Wheel 文件以本地路径的形式记录在你的 pyproject.toml 中。

注意事项

  • Python 版本匹配：文件名中的 cp38 意味着该文件原生编译自 Python 3.8。不过，由于它带有 abi3 标签（CPython 稳定 ABI），这意味着它通常也可以在 Python 3.9 到 3.12 的环境中正常安装和运行。
  • CUDA 环境：文件名中的 cu129 代表它需要 CUDA 12.9 或兼容的显卡驱动。请确保你的系统已经安装了对应版本的 CUDA Toolkit。
  • 系统环境：manylinux_2_28 意味着它需要一个相对较新的 Linux 系统（例如 Ubuntu 22.04+ 或 Debian 12+ 等使用较新 glibc 的系统），在老旧的 Linux 或 Windows/macOS 上是无法安装的。

注意：为什么cuda129可以在cuda128上跑起来？NVIDIA 从 CUDA 11.0 开始引入了次版本兼容性”（Minor Version Compatibility机制(cuda12.x 高版本兼容低版本)