はじめに

NVIDIAのこの資料に、

• Dual GH200
• Quad GH200

について載っていたので、妄想したいと思います。

Let's 妄想

Dual GH200

下図は上記の資料から説明のために引用します

• GRACE <=> HOPPER : NVLINK C2C (900GB/s)
• GRACE <=> GRACE : Coherent NVLink (600GB/s)
• HOPPER <=> HOPPER : GPU NVLink (900GB/s)

PCIe Gen5 x16 で、ConnectX-7 で接続しています。400Gbps のネットワークです。32Gbps x 16 = 512Gbps

NVIDIA Quad GH200

下図は上記の資料から説明のために引用します

• GRACE <=> HOPPER : NVLINK C2C (900GB/s)
• GRACE <=> GRACE : Coherent NVLink (200GB/s)
• HOPPER <=> HOPPER : GPU NVLink (300GB/s)

2つの時は、

• Coherent NVLink (600GB/s)
• GPU NVLink (900GB/s)

だったのが、4つだと接続が1つから3つになるので、それぞれ 1/3 になります。

• Coherent NVLink (200GB/s)
• GPU NVLink (300GB/s)

NVLinkは、x18ということは公開されているので、x6 (300GB/s)。Coherent NVLink x12 ぐらいですかね。となると、x4 (200GB/s) って感じでしょうか？

Networkは各Graceから PCIe Gen5 x16 で接続しています。

vengineer.hatenablog.com

によると、

• x12 clNVLINK/PCIe
• x56 PCIe Gen5

とあるので、x12 は合っていそうですね。。。

x12 で 600GB/s となると、x1 で 50GB/s == 400Gbps

おわりに

GH200の構成としては、

• Single GH200
• Dual GH200
• Quad GH200

の3つの構成

HOPPERが8個の場合は、

• DGX H100
• DGX H200

になるので。