はじめに
Intel Arc B580を手に入れたので、A770と速度比較してみました。
VRAMが16GBから12GBに減っているので不利な点もあります。
今回は東京科学大学が公開している日本語特化のオープンLLM「Swallow」シリーズから「Qwen3-Swallow-8B-RL-v0.2」と「GPT-OSS-Swallow-20B-RL-v0.1」を使いました。
Qwen3-Swallow-8B-RL-v0.2
GGUFを こちら からダウンロードして使っています。
コマンド
build/bin/llama-bench -m /home/hoge/models/Qwen3-Swallow-8B-RL-v0.2-Q4_K_M.gguf
SYCLの結果
A770
| model | size | params | backend | ngl | test | t/s |
|---|---|---|---|---|---|---|
| qwen3 8B Q4_K - Medium | 4.68 GiB | 8.19 B | SYCL | 99 | pp512 | 776.07 ± 3.10 |
| qwen3 8B Q4_K - Medium | 4.68 GiB | 8.19 B | SYCL | 99 | tg128 | 17.78 ± 0.06 |
B580
| model | size | params | backend | ngl | test | t/s |
|---|---|---|---|---|---|---|
| qwen3 8B Q4_K - Medium | 4.68 GiB | 8.19 B | SYCL | 99 | pp512 | 792.13 ± 0.28 |
| qwen3 8B Q4_K - Medium | 4.68 GiB | 8.19 B | SYCL | 99 | tg128 | 53.31 ± 0.66 |
Vulkanの結果
A770
| model | size | params | backend | ngl | test | t/s |
|---|---|---|---|---|---|---|
| qwen3 8B Q4_K - Medium | 4.68 GiB | 8.19 B | Vulkan | 99 | pp512 | 855.92 ± 1.56 |
| qwen3 8B Q4_K - Medium | 4.68 GiB | 8.19 B | Vulkan | 99 | tg128 | 30.53 ± 0.10 |
B580
| model | size | params | backend | ngl | test | t/s |
|---|---|---|---|---|---|---|
| qwen3 8B Q4_K - Medium | 4.68 GiB | 8.19 B | Vulkan | 99 | pp512 | 835.60 ± 1.88 |
| qwen3 8B Q4_K - Medium | 4.68 GiB | 8.19 B | Vulkan | 99 | tg128 | 27.19 ± 0.04 |
GPT-OSS-Swallow-20B-RL-v0.1
こちらはVRAMが多いA770の勝利です。
GGUFを こちら からダウンロードして使っています。
SYCLの結果
A770
build/bin/llama-bench -m /home/hoge/models/GPT-OSS-Swallow-20B-RL-v0.1-Q4_K_M.gguf -ngl 30
| model | size | params | backend | ngl | test | t/s |
|---|---|---|---|---|---|---|
| gpt-oss 20B Q4_K - Medium | 14.71 GiB | 20.91 B | SYCL | 30 | pp512 | 529.08 ± 12.05 |
| gpt-oss 20B Q4_K - Medium | 14.71 GiB | 20.91 B | SYCL | 30 | tg128 | 16.14 ± 0.05 |
B580
build/bin/llama-bench -m /home/hoge/models/GPT-OSS-Swallow-20B-RL-v0.1-Q4_K_M.gguf -ngl 16
| model | size | params | backend | ngl | test | t/s |
|---|---|---|---|---|---|---|
| gpt-oss 20B Q4_K - Medium | 14.71 GiB | 20.91 B | SYCL | 16 | pp512 | 411.73 ± 8.15 |
| gpt-oss 20B Q4_K - Medium | 14.71 GiB | 20.91 B | SYCL | 16 | tg128 | 18.61 ± 0.11 |
Vulkanの結果
A770
| model | size | params | backend | ngl | test | t/s |
|---|---|---|---|---|---|---|
| gpt-oss 20B Q4_K - Medium | 14.71 GiB | 20.91 B | Vulkan | 30 | pp512 | 1175.11 ± 5.61 |
| gpt-oss 20B Q4_K - Medium | 14.71 GiB | 20.91 B | Vulkan | 30 | tg128 | 40.14 ± 0.05 |
B580
| model | size | params | backend | ngl | test | t/s |
|---|---|---|---|---|---|---|
| gpt-oss 20B Q4_K - Medium | 14.71 GiB | 20.91 B | Vulkan | 16 | pp512 | 293.34 ± 42.27 |
| gpt-oss 20B Q4_K - Medium | 14.71 GiB | 20.91 B | Vulkan | 16 | tg128 | 21.40 ± 0.10 |
