使用したPC
別途GPUを搭載していないノートPCです。
Windows 11 Home Core Ultra 5 228V (Lunar Lake) Intel Arc 130V GPU 32GBメモリ
結果
nanbeige4.1-3b
.\llama-bench.exe -m .\models\nanbeige4.1-3b-q4_k_m.gguf
| model | size | params | backend | ngl | test | t/s |
|---|---|---|---|---|---|---|
| llama 8B Q4_K - Medium | 2.27 GiB | 3.93 B | SYCL | 99 | pp512 | 172.40 ± 2.22 |
| llama 8B Q4_K - Medium | 2.27 GiB | 3.93 B | SYCL | 99 | tg128 | 17.81 ± 0.94 |
| model | size | params | backend | ngl | test | t/s |
|---|---|---|---|---|---|---|
| llama 8B Q4_K - Medium | 2.27 GiB | 3.93 B | Vulkan | 99 | pp512 | 897.37 ± 95.82 |
| llama 8B Q4_K - Medium | 2.27 GiB | 3.93 B | Vulkan | 99 | tg128 | 23.33 ± 0.76 |
gpt-oss-20b
.\llama-bench.exe -m .\models\gpt-oss-20b-Q4_K_M.gguf
| model | size | params | backend | ngl | test | t/s |
|---|---|---|---|---|---|---|
| gpt-oss 20B Q4_K - Medium | 10.81 GiB | 20.91 B | SYCL | 99 | pp512 | 79.16 ± 5.81 |
| gpt-oss 20B Q4_K - Medium | 10.81 GiB | 20.91 B | SYCL | 99 | tg128 | 4.42 ± 0.18 |
| model | size | params | backend | ngl | test | t/s |
|---|---|---|---|---|---|---|
| gpt-oss 20B Q4_K - Medium | 10.81 GiB | 20.91 B | Vulkan | 99 | pp512 | 433.04 ± 10.23 |
| gpt-oss 20B Q4_K - Medium | 10.81 GiB | 20.91 B | Vulkan | 99 | tg128 | 17.57 ± 2.71 |
感想
Vulkanの圧勝です。
SYCLはちゃんと機能しているのでしょうかね?設定の誤りで本来の機能が出せていない可能性も否定できません。