はじめに

NVIDIA の Grace には、LPDDR5Xがたくさん接続できます。

最新のGB300では、LPDDR5X をモジュール化した SOCAMM (System on Chip Advanced Memory Module) を使っています。

• Micron SOCAMM Memory Powers Next-Gen NVIDIA Grace GB300 Servers

下記の写真は、上記の記事にあるものです。説明のために引用します。

Grace の両側に2個づつ、SOCAMM が載っています。

SOCAMM2

SOCAMM2 は、SOCAMMの改善版だと思うのですが、

• Micron
• Samsung

からプロダクトの発表がありました。

で、裏側がどうなっているのかを知りたくて、Googleさんに聞いたら、出てきました。

• JEDEC’s SOCAMM2: Low Power Compact LPDDR5X Modules Poised to Power Next-Gen AI Servers

JEDEC で規格化されているので、ドキュメントはあると思うのですが、買わないといけないですよ。そこまではやるつもりがないので、もうちょっと。調べてみたら、出てきました。

• Introducing LPDDR5 SOCAMM2 Connector

下記の図は、このサイトにあるもので、説明のために引用します。

• SOCAMM2 module (w/ M2 screws)
• SOCAMM2 Connector
• Mainboard
• PCB Stiffener (w/ nuts)

の構造をしていて、SOCAMM2 Connector 経由で Mainboard と接続するんですね。

SOCAMM2 Connector は、こんな感じ

• 694 pins
• SOCAM2 is dual-cannel than supports up to 128GB LPDDR5

とあります。4枚で 512GB で、NVIDIA Grace の 512GB と一致します。

NVIDIA Vera (2025.01.11追記)

GTC2025 で発表になった、Vera +Rubin のボードには、SOCAMM2が8枚載っているっポイ。

おわりに

LPDDR系のメモリは、スマホ用DRAM として使われてきたので、そんなにたくさん繋げないよね、という前提でしたが、NVIDIA Grace にてたくさん接続されるようになり、このような規格ができたんでしょうね。