はじめに
以前にもやっています。touch-sp.hatenablog.com
Ubuntu 24.04に変えて実行したのでその記録を残しておきます。
hoge@hogePC:~$ uname -r 6.8.0-51-generic
GPUドライバのインストール
こちらの通りにやりました。インストールの確認は以下のようにするようです。
sudo clinfo -l
このような結果が返って来ました。
Platform #0: Intel(R) OpenCL Graphics `-- Device #0: Intel(R) Arc(TM) A770 Graphics
oneAPI Base ToolkitのインストールIPEX-LLM公式の通りにやりました。
インストールの確認は以下のようにするようです。
1行目はoneAPIをスタートさせるコマンドのようです。
source /opt/intel/oneapi/setvars.sh
sycl-ls
このような結果が返って来ました。
[opencl:acc:0] Intel(R) FPGA Emulation Platform for OpenCL(TM), Intel(R) FPGA Emulation Device OpenCL 1.2 [2023.16.12.0.12_195853.xmain-hotfix] [opencl:cpu:1] Intel(R) OpenCL, 11th Gen Intel(R) Core(TM) i7-11700 @ 2.50GHz OpenCL 3.0 (Build 0) [2023.16.12.0.12_195853.xmain-hotfix] [opencl:gpu:2] Intel(R) OpenCL Graphics, Intel(R) Arc(TM) A770 Graphics OpenCL 3.0 NEO [24.39.31294] [ext_oneapi_level_zero:gpu:0] Intel(R) Level-Zero, Intel(R) Arc(TM) A770 Graphics 1.3 [1.3.29735]
IPEX-LLMのインストール
Miniforgeのインストール
こちらに従いました。wget https://github.com/conda-forge/miniforge/releases/latest/download/Miniforge3-Linux-x86_64.sh bash Miniforge3-Linux-x86_64.sh source ~/.bashrc
毎回 base環境が立ち上がるのを避けるために以下を実行しました。
conda config --set auto_activate_base false
Conda環境の作成
conda create -n llm-cpp python=3.11 conda activate llm-cpp
ipex-llm[cpp]のインストール
pip install --pre --upgrade ipex-llm[cpp]
Ollamaの初期化と実行
こちらに従いました。Ollamaの初期化
conda activate llm-cpp init-ollama
Ollamaの実行
export OLLAMA_NUM_GPU=999 export no_proxy=localhost,127.0.0.1 export ZES_ENABLE_SYSMAN=1 source /opt/intel/oneapi/setvars.sh export SYCL_CACHE_PERSISTENT=1 OLLAMA_HOST=0.0.0.0 ./ollama serve
2025年2月23日追記
「Ollama Portable」というのを利用するともっと簡単にOllamaが使えます。touch-sp.hateblo.jp
