【WSL2】失敗しない llama.cpp のビルド（CUDA）

確実な方法は成功した事例にバージョンを合わせることです。

PC環境

Ubuntu 24.04 on WSL2
CUDA Toolkit 12.9 Update 1

hoge@winPC:~$ uname -r
5.15.167.4-microsoft-standard-WSL2

CUDA Toolkitをインストールした後に ~/.bashrc に以下を書き込んでおく必要があります。

export PATH=/usr/local/cuda/bin${PATH:+:${PATH}}
export LD_LIBRARY_PATH=/usr/local/cuda/lib64:${LD_LIBRARY_PATH:+:${LD_LIBRARY_PATH}}

必要なもの

sudo apt install build-essential cmake unzip

バージョン確認

hoge@winPC:~/llama.cpp$ gcc --version
gcc (Ubuntu 13.3.0-6ubuntu2~24.04.1) 13.3.0

hoge@winPC:~/llama.cpp$ cmake --version
cmake version 3.28.3

ソースのダウンロード

wget https://github.com/ggml-org/llama.cpp/archive/2943210.zip

「2943210」は b8157 のコミットハッシュです。

解凍

unzip 2943210.zip -d ./

リネーム

mv llama.cpp-2943210c1eaa3fc9cc4f0ac6f0ae5f2ce2350f98 llama.cpp

ビルド

cd llama.cpp
cmake -B build -DGGML_CUDA=1
cmake --build build --config Release -j

メモリが足りない場合には -j の後に小さい数字を設定して下さい。

CMake Error at ggml/src/ggml-cuda/CMakeLists.txt:258 (message):
  CUDA Toolkit not found

このようなエラーが出た場合には以下のようにするとうまくいく場合があります。

cmake -B build -DGGML_CUDA=ON -DCUDAToolkit_ROOT=/usr/local/cuda