大規模言語モデル講座2025（東京大学松尾・岩澤研究室）を受講し始めた。同僚のこの分野に詳しいエンジニアからおすすめされ、ちょうどLLMを活用したアプリケーション開発に取り組んでいるので受講することに決めた。講義は基礎編・応用編の前後編に分かれていて、応用編から受講している。応用編の全8回のうち4回が終わったところで、折り返し地点に到達している。
アーカイブ動画で少しずつ学べる
毎週2時間決まった時間に受講するのはハードルが高いかなと思っていた。しかし参加してみるとアーカイブ動画を自分の好きな時間に見ることができる。出席アンケートの提出や課題の提出期限があるが、講義から1週間後までなので、毎日少しずつやったり、週末にまとめてやることができる。そのためフルタイムで働いている自分のような人でも毎週受講できている。
基礎編の動画を見ることができる
基礎編の講義のアーカイブ動画も見ることができるので、応用編の動画に加えて、基礎編の動画も見ている。基礎編にはプロンプティング、事前学習、スケール則、ファインチューニング、強化学習などの内容が含まれていて、動画を見ると学びが多かった。
これまでキーワードとしか知らなかった概念の関係性が見え、頭のなかに地図ができた
これまでキーワードとしてしか知らなかったものが、大規模言語モデルの研究や開発の中でどういう立ち位置にあるものなのか分かったのが良かった。
例えばLoRAといえば画像生成AIに関係する概念かなとぼんやり思っていたものが、ファインチューニングのなかでもPEFT（パラメータ効率的なファインチューニング）であることがわかり、事後学習⊃ファインチューニング⊃PEFT⊃LoRAというような概念同士の関係性の理解が深まった。
世の中のLLMのニュースやLLMを活用したプロダクトについても、知識を得ることで少しずつ理解の解像度が高まっていくのが面白い。
すぐに応用できそうな知識も学べている
研究者向けの内容で、実務でWebサービスやモバイルアプリの開発をしている人間には向かないのではないかという心配があった。実際にはその心配は当てはまらず、講義の内容は包括的で、専門家以外でも理解できるように配慮して講義が用意されているのが伺えた。
アプリケーション開発に活用しやすいような内容も多く学べた。例えばプロンプティングにおけるfew-shot、many-shotやLLM-as-a-Judgeなどは、アプリケーションにLLMを組み込んでいるエンジニアなら知識を活用する機会はいくらでもありそうだった。
年末年始の休みがあるので、残りの講義動画を見たり演習で手を動かして学ぶ時間がありそうだ。来年もこの講座があるのかはわからないけど、AIに関心があるけど理解が足りないと感じているソフトウェアエンジニアにはおすすめの講座だ。
