https://shuzo-kino.hateblo.jp/entry/2025/03/07/234420

以前Ubuntu22LTS用にOllama on DockerとGPUを連動させる方法を書きましたが、
Ubuntu24LTSでは少し手順が変わったようなので、メモ

実際のところ

大前提：nvidia-smiの確認

ないと、そもそも画面が出ないはずですが一応

nvidia-smi

で出る事を確認します

必要なツール群の整備

sudo apt update
sudo apt install -y apt-transport-https ca-certificates curl wget

対象リポジトリを導入

sudo rm -f /etc/apt/sources.list.d/nvidia-container-toolkit.list
echo 'deb [signed-by=/etc/apt/keyrings/nvidia-container-toolkit.gpg] https://nvidia.github.io/libnvidia-container/stable/deb/amd64/ /' \
  | sudo tee /etc/apt/sources.list.d/nvidia-container-toolkit.list

GPG keyの登録

sudo mkdir -p /etc/apt/keyrings
curl -fsSL https://nvidia.github.io/libnvidia-container/gpgkey \
  | sudo gpg --dearmor -o /etc/apt/keyrings/nvidia-container-toolkit.gpg

nvidiaツールキットを導入

sudo apt update
sudo apt install -y nvidia-container-toolkit

DockerにvGPUをセット

sudo nvidia-ctk runtime configure --runtime=docker
sudo systemctl restart docker

実際にDockerコンテナで読み出せているか、読み出し

$ docker run --rm --gpus all nvidia/cuda:12.9.1-base-ubuntu24.04 nvidia-smi

nvidia-smiと同じような出力、とくにGPUの種類がちゃんとでれば成功です