はじめに
Intel Arc A770で比較した時にはVulkanの勝利でした。
Intel Arc B580ではどうでしょうか?
今回も東京科学大学が公開している日本語特化のオープンLLM「Swallow」シリーズから「Qwen3-Swallow-8B-RL-v0.2」と「GPT-OSS-Swallow-20B-RL-v0.1」を使いました。
Qwen3-Swallow-8B-RL-v0.2
GGUFを こちら からダウンロードして使っています。
コマンド
build/bin/llama-bench -m /home/hoge/models/Qwen3-Swallow-8B-RL-v0.2-Q4_K_M.gguf
結果
SYCL
| model | size | params | backend | ngl | test | t/s |
|---|---|---|---|---|---|---|
| qwen3 8B Q4_K - Medium | 4.68 GiB | 8.19 B | SYCL | 99 | pp512 | 792.13 ± 0.28 |
| qwen3 8B Q4_K - Medium | 4.68 GiB | 8.19 B | SYCL | 99 | tg128 | 53.31 ± 0.66 |
Vulkan
| model | size | params | backend | ngl | test | t/s |
|---|---|---|---|---|---|---|
| qwen3 8B Q4_K - Medium | 4.68 GiB | 8.19 B | Vulkan | 99 | pp512 | 835.60 ± 1.88 |
| qwen3 8B Q4_K - Medium | 4.68 GiB | 8.19 B | Vulkan | 99 | tg128 | 27.19 ± 0.04 |
GPT-OSS-Swallow-20B-RL-v0.1
GGUFを こちら からダウンロードして使っています。
結果
コマンド
build/bin/llama-bench -m /home/hoge/models/GPT-OSS-Swallow-20B-RL-v0.1-Q4_K_M.gguf -ngl 16
SYCL
| model | size | params | backend | ngl | test | t/s |
|---|---|---|---|---|---|---|
| gpt-oss 20B Q4_K - Medium | 14.71 GiB | 20.91 B | SYCL | 16 | pp512 | 411.73 ± 8.15 |
| gpt-oss 20B Q4_K - Medium | 14.71 GiB | 20.91 B | SYCL | 16 | tg128 | 18.61 ± 0.11 |
Vulkan
| model | size | params | backend | ngl | test | t/s |
|---|---|---|---|---|---|---|
| gpt-oss 20B Q4_K - Medium | 14.71 GiB | 20.91 B | Vulkan | 16 | pp512 | 293.34 ± 42.27 |
| gpt-oss 20B Q4_K - Medium | 14.71 GiB | 20.91 B | Vulkan | 16 | tg128 | 21.40 ± 0.10 |
比較結果
A770を使って比較した時に比べると差がないような印象です。