はじめに
下記のブログを書くために、GIGAByte の User Manual を覗いていて気が付いたこととして、PCIe Switch/Retimer があります。
今回は、GIGAByte の User Manual から PCIe Switch/Retimer について、記録に残します。
PCIe Switch/Retimer
今回取り上げた Board は、下記の3つです。(前回の BMC編 と同じです)
- G893-SG1-AAX1 : HPC/AI Server - 5th/4th Gen Intel® Xeon® Scalable - 8U DP Intel® Gaudi® 3
- G894-SD3-AAX7 : HPC/AI Server - Intel® Xeon® 6 Processors - 8U DP NVIDIA HGX™ B300
- G893-ZX1-AAX3 : HPC/AI Server - AMD EPYC™ 9005/9004 - 8U DP AMD Instinct™ MI350X
下記に、上記のUser Manual の PCIe Switch/Retimer の部分を切り出してみました。(説明のために引用します。)
- 4th/5th Xeon + Intel Gaudi 3 では、PCIe Switch (Boardcom PEX89104) x 4 個
- 6th Xeon + NVIDIA HGX B200 では、PCIe Gen5 Retimer x 8 個
- AMD EPYC 9004/9005 + AMD MI350 では、PCIe Switch (Boardcom PEX89104) x 4 個
ここから分かったこと。
- NVIDIA B200 では、PCIe Switch ではなく、PCIe Retimer である。PCIe Switch の時は4個で、PCIe Retimer の時は8個
- PCIe Switch は、Boardcom 89104 。
- 104 は、Lanes 数で、2個のB200に1つのPCIe Switchになるので、Host側で x16 + B200 x 2 = x16 x 2 = x48 。SSD に x8、PCIe Slot に x16 x 2 = 32。で 68 lanes。104 lanes に対して、68 lanes
ちなみに、6th Xeon + NVIDIA HGX B200 の時のPCIe Retimer が Gen 5 である理由は、下記のブログを読んでくださいね。
基板の図
上記の3つのBoardの基板の図です。
です。1番目と3番目は、PCIe Switch 。2番目は、PCIe Retimer です。
確かに、PCIe Switch は4個で、PCIe Retimer は8個、載っていますね。
おわりに
GIGAByte の User Manual を眺めることで、PCIe の接続方法を学ぶことができます。
NVIDIA HGX B200 との接続が PCIe Switch ではなく、PCIe Retimer なのかは、下記のブログを読んでくださいね。
