はじめに
NVIDIA の GPU の L2 Cache の構成は、HBMの512bit に対して、1つになっているようです。そして、A100 (Ampere) では 1つ の L2 Cache は 8 slice で構成されているようです。
「NVIDIA A100 Tensor コア GPUアーキテクチャ」の31頁に下記の記載があります。(下記の説明は、5つのHBMを使った場合です)
各 L2 キャッシュ パーティションは、40 個の L2 キャッシュ スライスに分割されています。8 つの 512 KBの L2スライスが、各メモリ コントローラーに関連付けられています
H100(Hopper) と B200( Blackwell ) も同様に、1 つの L2 Cache は 8 slice で構成されていると想定します。
各GPU の L2 Cache のサイズは、
- A100 (Ampere) は、48MB (1つのL2 Cacheは、48/12 = 4MB)
- H100 (Hopper)は、60MB(1つのL2 Cacheは、60/12 = 5MB)
で、B200 (Blackwell) は、どうなんでしょうか？
それでは、
Let's 妄想
B200 (Blackwell) の L2 Cache サイズは？
には、Blackwell の L2 Cache については何か書かれていません。
Google君に聞いてみたら、出てきました。
1.4.2.2. Increased L2 Capacity
The NVIDIA GB200 GPU increases the L2 cache capacity to 126 MB.
です。
126MB だと中途半端なので、実装されているのは 128MB と想定します。となると、2 die で、1 die では、64MB。HBM3e は4個なので、512bitだと、2倍の8個。64MB/8 = 8MB。
おわりに
B200 (Blackwell) の 1 die の L2 Cache は、64MB です。
まとめると、
- A100 (Ampere) : 48 MB (4MB)
- H100 (Hopper) : 60 MB (5MB)
- B200 (Blackwell) : 128MB / 64MB (8MB)
ですかね。
では、今回はここまでで
次回も、Let's 妄想
