はじめに
昨日の「AWS Trainium 2 の詳細を妄想する」で取り上げた、NeuronCore-v3 と HBM の関係、再度、色々と調べてみたら、公式に情報があったので、記録に残します。
Logical NeuronCore configuration
AWS Neuron の Documentation の
に下記のような図が載っていました。説明のために引用します。
図の上には、下記のような説明が書いてあります。
Trainium2 devices contain four 24GB HBM banks. Each bank is shared by two physical NeuronCore-v3. When LNC=2, the two physical NeuronCores share a single address space. Workers on each of the two physical NeuronCores can access tensors and perform local collective operations without accessing the network. The following diagram shows how a logical NeuronCore is presented to the software under this configuration.
Trainium2 devices contain four 24GB HBM banks. Each bank is shared by two physical NeuronCore-v3.
とあります。つまり、1つのHBMを2つの NeuronCore-v3 が使うと。
Trainium 2では、物理コアと論理コアというものがあり、論理コアが1に対して、物理コアが 1 or 2 に設定できるというのがこのドキュメントの説明のようです。
おわりに
ということで、昨日の妄想は、当たったということになります。
当たって、良かったです。
