はじめに

NVDIA Hopperに搭載されているメモリは、色々あるようなのですが、下記のXの投稿が気になったのの記録に残します。

Been studying PCI lately. Really incredible how many different SKUs there are for NVIDIA's cards. Attached is everyting corresponding to "GH100". Anyone know what the "L" in "H100L" might mean?

Source: https://t.co/aErPPsiYRD pic.twitter.com/tfqSTGBZf3

— Daniel Galvez (@memorypaladin) 2024年6月28日

open-gpu-kernel-modules

NVIDIA の open-gpu-kernel-modules での Hopper関連 は、README.md にあるように

NVIDIA H100 NVL  2321 10DE 1839
NVIDIA H800 PCIe    2322 10DE 17A4
NVIDIA H800 2324 10DE 17A6
NVIDIA H800 2324 10DE 17A8
NVIDIA H20  2329 10DE 198B
NVIDIA H20  2329 10DE 198C
NVIDIA H100 80GB HBM3   2330 10DE 16C0
NVIDIA H100 80GB HBM3   2330 10DE 16C1
NVIDIA H100 PCIe    2331 10DE 1626
NVIDIA H200 2335 10DE 18BE
NVIDIA H200 2335 10DE 18BF
NVIDIA H100 2339 10DE 17FC
NVIDIA H800 NVL 233A 10DE 183A
NVIDIA GH200 120GB  2342 10DE 16EB
NVIDIA GH200 120GB  2342 10DE 1805
NVIDIA GH200 480GB  2342 10DE 1809

• 64GB : 2337(H100)
• 80GB : 2330(H100)
• 94GB : 2339(H100)/233a(H800)
• 96GB : 2338/233d(H100)
• 141GB : 2335(H200)

94GB は、H100 NVL のようですね。NVIDIAの製品仕様によると、H100 SXM版の2倍の性能なんですね。 H100 SXMでは、最大700W、H100 PCIe でも 300-350W なのに、H100 NVL では 2x 350-400W なのは何故だろうか？本当に、最大の性能が出せるかは疑問ですね。

もうちょっと調べてみたら、出てきました。2023年3月に、H100 SXM5 96GBを販売したようですね。。。

technical.city

おわりに

既に、H200のリリースが始まったので、H100のメモリが94GB => 96GB ぐらい増えても大きな問題は無さそう。とは言え、H200は HGX H200だけだと思うので、PCIe 版の最強は、H100 NVL 94GB(2枚組)が最強ではありますが。。。

関連ブログ

vengineer.hatenablog.com