https://touch-sp.hateblo.jp/entry/2025/02/11/081516

はじめに

以前Dockerを使ってvLLMを動かす記事を書きました。
touch-sp.hateblo.jp
今回はDockerを使わないでvLLMを動かします。

PC環境

Ubuntu 24.04
Intel Arc A770

手順

事前準備１

必要かどうかわかりませんがDockerファイルに記述されていたのでおそらく必要なのでしょう。
こちらを参照させて頂きました。

sudo apt install ffmpeg libsm6 libxext6 libgl1

事前準備２

こちらとこちらを参照させて頂きました。

# Install the Intel graphics GPG public key
wget -qO - https://repositories.intel.com/gpu/intel-graphics.key | \
  sudo gpg --yes --dearmor --output /usr/share/keyrings/intel-graphics.gpg

# Configure the repositories.intel.com package repository
echo "deb [arch=amd64,i386 signed-by=/usr/share/keyrings/intel-graphics.gpg] https://repositories.intel.com/gpu/ubuntu noble client" | \
  sudo tee /etc/apt/sources.list.d/intel-gpu-noble.list

# Update the package repository meta-data
sudo apt update

# Install the compute-related packages
sudo apt-get install -y ocl-icd-libopencl1 intel-opencl-icd intel-level-zero-gpu level-zero

ソールからビルド

こちらを参照させて頂きました。
Pythonの仮想環境を作っておくことが望ましいです。すでに作っている想定です。

git clone https://github.com/vllm-project/vllm
cd vllm
pip install -r requirements-build.txt --extra-index-url https://download.pytorch.org/whl/cpu
PIP_EXTRA_INDEX_URL="https://download.pytorch.org/whl/cpu" VLLM_TARGET_DEVICE=openvino python -m pip install -v .