著者の2005年の本『シンギュラリティ』は物笑いの種だった。シンギュラリティ（特異点）とはAIが人間を超える点で、それを超えるとコンピュータがコンピュータを作り出し、人間を支配する「人工超知能」ができる、というテクノ・オプティミズムだった。だがAIの学会では2018年になっても、機械が人間レベルの知能を獲得するのは2060年ごろだろうと予測していた。

しかし2024年に出版された本書は、もう笑い物ではない。それは2022年に発表されたチャットGPTのインパクトが大きかったからだ。機械学習はニューラルネットで画像や音声のパターン認識をするだけだったが、GPTの大規模言語モデル(LLM)は、ニューラルネットを自然言語処理に応用して、人間と同じ文章が書けるようになった。

この経済的なインパクトは大きい。ホワイトカラーの仕事の大部分は文書作成なので、GPTで代替できる。公務員や銀行員の8割はGPTで代替できるだろう。弁護士や会計士は、AIに免許を与えれば100％代替できる。AIのもっているデータは人間よりはるかに多いので、文書作成においては人間を超えたといっていい。

では著者のいうようにAIは人間を超えるだろうか。それは定義の問題である。古典的なチューリングテスト（人間と区別がつかない）では、GPTの書く文章は人間と区別できず、その情報量は人間をはるかに超えているので人間を超えたといってもいい。

しかしGPTの言語処理は人間の脳内でおこなわれている処理とは違い、意味を理解していない。このため最初は見当違いな答しか出さなかったが、2020年ごろ大きなブレイクスルーが起こった。ベクトルの次元を示すパラメータが1000億を超えたときGPTは突然、賢くなったのだ。それはなぜか。

コンピュータは機能的には人間を超えたが…

自然言語処理でむずかしいのは、文脈の処理である。エキスパートシステムのような範囲の限られた仕事なら、そのすべてのパターンを覚えて人間の命令に従うことができるが、ある単語の次にどんな単語が出てくるかの組み合わせはほとんど無限であり、いくつもの単語を組み合わせて文章を書くと、組み合わせの爆発が起こってしまう。

これがフレーム問題で、古典的人工知能が挫折した原因だが、GPTはこの問題を莫大な計算能力を使って腕力で解いた。それは言葉（トークン）を数万次元の多次元ベクトルとして表現し、その行列計算として文を構成するのだ。

たとえば「象は」という言葉があると、それにもっとも近い言葉は「鼻」だろうが、「足」かもしれない。そのどっちであるかは次に「長い」という言葉が来ればわかる…というように試行錯誤して、もっとも近い言葉を並べていく。これは脳でやっている処理とはまったく違うもので、パラメータが少ないとすぐ限界に突き当たってしまう。

しかしGPTはこの限界を数万×数万＝数億の組み合わせをしらみつぶしに計算することで実現した。それは囲碁の最善手を計算するとき、論理的に次の手を考えるのではなく、過去の棋譜から同じパターンを見つける処理に似ている。訓練データを増やしてある閾値を超えると、性能がベキ関数で爆発的に上がる。これはエンジニアにも予想できなかったらしい。

だからLLMの性能を上げる最善の手段は、パラメータを増やして大きな訓練データをつくることだ。その処理は同じ言葉を繰り返し処理するので無駄が多く、膨大な計算資源を消費するが、行列計算に特化したGPUを使うことで、計算時間は短縮できる。

だから「経済的シンギュラリティ」が実現する日は近い（技術的にはすでに実現している）が、AIが人間と同じように思考する本質的シンギュラリティが実現する日は、永遠に来ないだろう。LLMの言語処理は、人間の思考とはまったく違うからだ。

しかしそれは大した問題ではない。自動車が人間のように2本の足で走る必要がないように、AIは機能的に人間の仕事ができればいいのだ。むしろ深刻なのは、その能力が犯罪や戦争でも、人間よりはるかに高い能力を発揮することだ。コンピュータを法律で罰することはできないので、AIのしくみを理解した上でその扱いを考える必要がある。