早いもので、2024年も恒例の年末回顧記事を書く時期になりました。ということで、今回は一年を通じて話題に事欠かなかった生成AIに関する最近の論争と、一方でBtoBのビジネスの現場で感じている現実とを綴ることで、今年の振り返りといたします。
自己回帰型モデルによる事前学習全盛の時代に終わりが来る？
11年前に参加して以来NeurIPSの話題に疎くなって久しいのですが、今年はIlya Sutskeberの講演内容が話題を呼んだようで*1、tech industry向けメディアのThe Vergeもこんな特集記事を組んでいます。
彼の講演内容を端的にまとめると、以下のような感じです。
- 現行の事前学習モデルの時代は早晩終わる。何故なら、石油が枯渇するのと同じように、事前学習モデルに与えられる学習データが枯渇しつつあるから。学習データを生み出せるインターネットは、一つしかない
- これからのAIは、学習モデルだけに依存しないエージェント的なものが主流になるだろう。学習データに基づくのではなく、ヒトの思考と同様に段階的に問題を解決することで自ら推論するようになる
- 多数の動物種の体重と脳の重さとをプロットすると、大半の哺乳類は一つの直線上に並ぶが、ヒト科だけはそのスケーリング則から外れる。ヒトの進化がそのようなブレークスルーを起こしたのと同様に、AIもまた現行の事前学習の枠を超えてスケーリング則から外れた新たなアプローチに至り得る
確かにこれらの指摘には説得力があり、特に「現状のLLMは既に地球上のインターネットからかき集められ得る全てのテキストデータを集め切ってしまった」という話はだいぶ前から出ていたはずです。このIlyaの発言には賛否どちらの反応も見られますが、例えば『マスターアルゴリズム』の著者であるPedro Domingosは以下のように痛烈に批判しています。
No, @ilyasut, pretraining will not end. On the contrary. The data is plenty if the learning algorithms are good. What you’re doing is admitting your inability to come up with better ones.
— Pedro Domingos (@pmddomingos) 2024年12月14日
ただ、ちょっと面白いなと思ったのが「学習データの枯渇自体が問題なのではない」という認識はどちらも同じなのだということ。個人的には、以下の2点に集約され得るのかなと思っています。
自己回帰型モデル（Transformerなど）そのものに限界があるという考え方
前者は特にYann LeCunがずっと主張し続けている論点で、彼は『ディープラーニング 学習する機械』の中でも「真のAGIは『ああ言えばこう言う』的な学習結果だけでなく『常識』を持ち合わせているべきだ」という趣旨のことを言っています。その「常識」をNNに持たせようとしたと思われる試みが、Large Concept Models（LCM：大規模概念モデル）という新たなNNの提案です。これは端的に言えば、個々のトークンレベルより抽象度の高い文レベルでの概念を学習させ、そのレベルで推論も行うというNNのようです。つまり概念空間上に「常識」が学習されれば、LeCunの提唱した通りの挙動をする生成AIが出来上がる、ということですね。
現状ではLCMのアプリケーションが広く公開されているわけではないので外野の身としてはまだ従来型のLLMとの比較はできない状況ですが、それでも少しずつ「自己回帰型モデル『ではない』」生成AIを模索する動きが広がりつつあると言っても過言ではなさそうです。なお某所では「TransformerではなくCNNベースのNLPアプリケーション実装も結構ある」という話題が出ていたようですが、ここでは一旦置いておきます。
自己回帰型モデルの学習プロセスにまだ改善の余地があるという考え方
後者については、最近話題になっていた佐藤竜馬さんのブログ記事が分かりやすいかと思います。詳細はリンク先の記事本文をお読みいただければと思いますが、要はTransformerのような自己回帰型モデルは「肯定文は容易に学習できるが否定文はなかなか学習できない」（「日本の首都は〇〇ではない」の〇〇を何故か「東京」と答えてしまう現象が例示されている）というお話です。
佐藤さんの記事では様々な解決策が提示されていますが、一方で他のLLMの専門家からは「単純にモデルが『弱い』」（パラメータなどを増やせばシンプルに解決し得る）という声も出ているようで、まだ自己回帰型モデルの限界に達したわけではないという見解もあり得るのかな、と個人的には考えています。
ビジネス実務（特にBtoB）の場で見える、理想と現実
一方で、僕個人が主戦場とするエンタープライズ向け(BtoB)ビジネス実務の現場では、目下のところ生成AIが広く普及しているとは言い難いという印象があります。勿論テーマを絞れば生成AIが積極的に導入されて成果を挙げている領域もないわけではないのですが、全体として見るとそれはやはりごく一部に限られると言って良いかと思います。今のペースのままであれば、ビジネス実務の現場が生成AIの成果物で溢れ返るという未来は、もう少し先のことになりそうです。
どちらかというと、個人的にはDXが日本の企業社会に継続的に浸透していっていることで、観測範囲の話ではありますが「本当に過半数ぐらいの企業が何かしらのデータ分析の専門部署を持っている」という状況になりつつあることの方が、今年は印象的だったなと感じています。勿論連続的に進行している現象なので去年に比べて云々という短期的な比較はできないのですが、少なくとも「コロナ禍前と比べたら自社データ分析に取り組む企業が飛躍的に増えた」と感じられるレベルにまで達していると言って良いかと思います。
少し細かい話になりますが、広告・マーケティング業界では以前に比べて「自社でMMM (Media/Marketing Mix Modeling)を回す」という企業が明らかに増えてきているようです。またMMMに限らず、各種の需要予測モデルなど個々の企業における重要KPIに対する回帰分析なども自社で手掛けるという動きが広がっているようです。それはやはり、先述した「自社にデータ分析の専門部署を持つ」企業が増えたためなのかもしれません。
ただ、これまた観測範囲の話ではありますが、近年になって急にデータ分析に注力するようになった企業では拙速なデータ分析（特に回帰分析）が結構な問題を引き起こしてしまうこともまた多々あるようです。実際、僕が相談に乗っている範囲だけでも「え？それはいくら何でもおかしいのでは？」と言わざるを得ないようなケースがちらほら散見されるので、世の中全体で見たら相当数に上ることは否めない状況です。そういう事態に陥ってしまう実務家やデータ分析者が少しでも減るように、僕もこのブログなり他の媒体*2なりで参考になり得る情報を発信し続けていこうかなと思う次第です。
最後に、今年一年を振り返って
今年は、全体として見ると生成AIブームがさらに過熱していった一方で、思ったほど実際のビジネスに浸透していかないというもどかしさを感じさせられた一年だったように思います。そこはBig Tech各社とも意識しているのか、去年の「縦方向」の進化すなわち基盤モデルの性能競争に明け暮れるという感じから少し軌道修正されてきて、今年は「横方向」の進化すなわち生成AIの長所を生かそうとするアプリケーションの開発に向かう動きが増えたように見受けられます。
いわゆるハイプ・サイクルにおいてそろそろ生成AIは「幻滅期」に向かいかけているという印象がありますが、その先の「定着期」を見据えて「真に社会に遍く定着する生成AIアプリケーション」が今後続々とリリースされることを個人的には願いたいです。
あとは、私事では2月にまたまた歯根破折して抜歯する羽目になったり*3、他にも様々な身体的不調に見舞われたりとますます加齢を感じさせられる一年でした。これからもさらに心身の不具合が増えていきそうですが、それらに抗いながら前を向いてやっていこうと思います。
ということで、今年もこのブログをご愛読くださいまして有難うございました。皆様良いお年を、そして来年もまたよろしくお願いいたします。
