はじめに

8月25日から HotChips が始まって、XにNVIDIA Blackwell NVL72の各Trayの中身の写真が流れてきましたので、記録に残します。

下記のXの投稿内の記事は、NVIDIA Blackwell Platfowmを発表したときのものです。

$NVDA 將參加 8/25/8/27 在 Stanford University 舉行的 Hot Chips 2024；

然後 8/28又會公布財報，下週也太刺激了！

- 新的 Hopper NVSwitch ?
- 第8張圖有新的水冷？

訂閱免費電子報：
Blackwell 超強，但沒 NVLink / NVLink Switch 就沒GB200 NVL72https://t.co/mVKgt5delh pic.twitter.com/LFj6ybakYW
— BlueJay (@BlueJay87476298) 2024年8月24日

NVLink Switch chip

NVLink Switch chipが搭載されている1UのTray。2個のNVLink switch chipが搭載されています。

Some more details on the newest NVLink switch chip supporting 5th Gen NVLink Interconnect:

- >800 mm² die size
- TSMC 4NP
- 72 ports with a full all-to-all bidirectional bandwidth of 7.2 TB/s

Blackwell NVLink Switch Tray:

- two chips
- 14.4 TB/s total bandwidth pic.twitter.com/EK6VzBYvrR
— Andreas Schilling 🇺🇦 🇮🇱 (@aschilling) 2024年8月23日

They complexity of a NVLink Switch Tray is crazy. pic.twitter.com/bxfG8eH09g
— Andreas Schilling 🇺🇦 🇮🇱 (@aschilling) 2024年8月23日

水色のケーブルは、コネクタからNVLink Switch chipまでを接続し、オレンジのケーブルは NVLink Switch chip 間を接続するために使っているように見えます。

また、水冷のようです。下記の写真は上記のXの投稿から説明のために引用します。

Compute Tray

Compute Tray には、

CB200 x 2
ConnectX-8 x 4
BlueField-3 x 2

が載っています。

Think of NVIDIA Blackwell as a Platform https://t.co/ca7BpnklE1 @nvidia #datacenter #HotChips #GPU #semiconductors pic.twitter.com/aagT4pEpti
— Jim Carroll (@ConvergeDigest) 2024年8月23日

下記の写真を上記のXの投稿から説明のために引用します。

ConnectX-8 x 2 の Board を2枚の構成になっていますね。。各 ConnectX-8 が Blackwell の PCIe と接続しているのだと思います。ConnectX-8 と Blackwell の PCIe は、Gen6 x16 なので、このような構成ができるのだと思います。

x86_64 では、まだ、PCIe Gen5 なので ConnectX-8 (800Gbps) ではなく、ConnectX-7 (400Gbps) を使うことになります。ね。

おわりに

今回の Compute Tray の ConnectX-8 の実装が分かりました。Compute Tray の中は、下記のように繋がっているのかを妄想しました。

blogs.nvidia.com