はじめに

NVIDIA GB200は、2 die で HBM3e が 8個。1個24GB とすると、24GB x 8 = 192GB 。これを全部使うかというとそうでもなさそう。

では、どのぐらい使えるのか？

GB200 のメモリは？

NVIDIA の open-gpu のここにありました。

ENTRY(0x2941, 0x20CB, 0x10de, "NVIDIA GB200-1-24CME"),
ENTRY(0x2941, 0x20CC, 0x10de, "NVIDIA GB200-1-24C"),
ENTRY(0x2941, 0x20CD, 0x10de, "NVIDIA GB200-1-47C"),
ENTRY(0x2941, 0x20CE, 0x10de, "NVIDIA GB200-2-47C"),
ENTRY(0x2941, 0x20CF, 0x10de, "NVIDIA GB200-3-95C"),
ENTRY(0x2941, 0x20D0, 0x10de, "NVIDIA GB200-4-95C"),
ENTRY(0x2941, 0x20D1, 0x10de, "NVIDIA GB200-7-189C"),
ENTRY(0x2941, 0x20D2, 0x10de, "NVIDIA GB200-189C"),

GB200 の MIG は、A100/H100/H200 と同じようで 7 個までのMIG に対応できるようです。

MIG-1 : 24GB
MIG-1 : 47GB
MIG-2 : 47GB
MIG-3 : 95GB
MIG-4 : 95GB
MIG-7 : 189GB
全部 : 189GB

となっています。

つまり、189 GB のようです。

192 GB の内、189 GB 。

おわりに

H100 の時は、94 GB
H200 の時は、141 GB

に対して、

GB200 の時は、189 GB

で、NVIDIA DGX B200 の場合では、どうなるのでしょうか？　

NVIDIA DGX B200 データシート

によると、8個で 1440 GB。1個だと、180 GB ですね。

ということで、DGX B200 より、GB200 の方がメモリ容量が 9GB 多いんですね。

B200 の MIG は、ここにありました。

MIG-1 : 23 GB
MIG-1 : 45 GB
MIG-2 : 45 GB
MIG-3 : 90 GB
MIG-7 : 180 GB

tariq1890
Contributor
tariq1890 commented on Jan 30 • 
$ nvidia-smi mig -lgip
+-----------------------------------------------------------------------------+
| GPU instance profiles:                                                      |
| GPU   Name             ID    Instances   Memory     P2P    SM    DEC   ENC  |
|                              Free/Total   GiB              CE    JPEG  OFA  |
|=============================================================================|
|   0  MIG 1g.23gb       19     7/7        22.00      No     18     1     0   |
|                                                             2     1     0   |
+-----------------------------------------------------------------------------+
|   0  MIG 1g.23gb+me    20     1/1        22.00      No     18     1     0   |
|                                                             2     1     1   |
+-----------------------------------------------------------------------------+
|   0  MIG 1g.45gb       15     4/4        44.25      No     30     1     0   |
|                                                             2     1     0   |
+-----------------------------------------------------------------------------+
|   0  MIG 2g.45gb       14     3/3        44.25      No     36     2     0   |
|                                                             4     2     0   |
+-----------------------------------------------------------------------------+
|   0  MIG 3g.90gb        9     2/2        89.00      No     70     3     0   |
|                                                             6     3     0   |
+-----------------------------------------------------------------------------+
|   0  MIG 7g.180gb       0     1/1        178.50     No     148    7     0   |
|                                                            16     7     1   |
+-----------------------------------------------------------------------------+