はじめに
2016年頃からDeep Learningに特化したクラウド用Chipを開発するスタートアップが立ち上がりました。
- Graphcore
- Cerebras Systems
- SambaNova Systems
- Groq
- Tenstorrent
これ以外にも色々と。2020年のパンデミックからちょっとこのAIブームも下火になり、とうとう終わったか？と思っていた、2022年11月。OpenAIのChatGPTの登場により、AIブームは生成AIブームと変化し、より激しくなりました。
上記のスタートアップは、
- Graphcore は、Softbank Group に買収される (Softbank Group は、Ampere Computingも買収）
- Cerebras Systems は、某マネーをベースに、生成AI推論にPIVOT
- SambaNova Systems も、生成AI推論にPIVOT
Groq はもともと推論をターゲットにしていたが、生成AIでは超速推論システムを構築
Tenstorrent は、生成AIにはPIVOTせずに、なんとなく、車載にPIVOTした気がします。
NotebookLMの音声概要
で、ASICをなぜ開発するのか？
生成AIの学習では、10万台というオーダーのNVIDIA GPU を使うようになっています。H100が $30K と言われているので、仮に 10万台の H100を $30K で調達したとして、10K x $30K = $300M となります。
7nm でのAIアクセラレータ開発では、$100M ぐらい必要と思っていましたが、生成AI学習ではNVIDIA GPUだけで、$300M かかります。
つまり、$300M かけて、H100 を 10万台買うより、$300M かけて、自社にASICを 数十万台作った方がお得と判断すれば、自社でASICを開発するこというこになります。
たぶん、10万台ではなく、100万台ぐらいの想定でASICを開発していると思います。となると、H100 で考えても、$3B になり、まー、$1B ぐらいはかけても十分元が取れるということになります。
そして、NVIDIAが Blackwell, Rubin と次々とプロダクトを投入してきますが、その分、価格は上がります。つまり、$3B じゃすまないということです。。。
また、自社で開発すれば、自社にあったシステムでできたり、ボトルネック等の解析は自社できるということにもなります。
生成AIブームになり、学習よりも推論の方がNVIDIAのGPUが必要になっています。そうなると、もっとお金が必要になり、買うより作った方がお安くなるわけです。
おわりに
Softbank Group, OpenAI, xAI は、別に売るつもりはないと思うので、そのために人を雇う必要はありません。
そこが、最初に説明した スタートアップとの違いです。
売るのって、ものすごく、お金と時間がかかります。もし、そうでなければ、スタートアップの会社はもっと売れて儲かっているし、Softbank Group, OpenAI, xAI にとっくに買収されていると思います。
とは言え、そう簡単に、ASICを作って、ソフトウェアを含めたシステム全体を開発し、プロダクトとして流すまでには数年の時間が必要です。それまでに、何かが起これば、今までのことは無かったことになる可能性がありますが、それは投資ということになるんでしょうね。。。。
