子ども向けの説明するモデルに賢さはあまり必要ないという話が流れてきて、ちょっと「あれ？」ってなった。
さらに、答えを直接ださずに考えを導くとあって、それってかなり性能が高いモデル能力を要求するんではと思った。
子ども向けの説明で大事なことは、説明するべき中心的概念を抜き出して、詳細をそぎおとし、子どもにわかりそうな概念だけを使って最短距離でたどり着くことが必要。
つまり
- 説明するべき中心概念を抜き出す
- 子どもにわかりそうな概念だけを使う
- 最短距離でたどりつく
というのが必要になる。
ところで、LLMが回答に答えるときに何が起きているかのイメージはこんな感じ。
まず、LLMの基礎になるのは、文章の特徴をベクトルとして表現できるということ。
そして、質問+回答がいい感じになった状態のベクトルが想定できるとする。LLMの学習というのは、この想定ベクトルに近づけれるように進む。
質問に対して返答の言葉をひとつ足すごとにちょっとずつベクトルが変化していくので、これが理想の回答に近づくよう、言葉を足していく。
最終的に、理想の回答のベクトルに近づいたと思ったら返答が終了。
ここでまず、理想の回答ベクトルの想定が賢いモデルじゃないとなかなか難しい。それさえわかれば、そのベクトルに近づけるように言葉を継ぎ足していけばいい。
理想の回答ベクトルがわからなかったら、質問に関係ありそうな単語をどんどん足していって、うろうろとしながら回答のベクトルに近づいていく。
なので、賢いモデルは端的に短い回答を行うけど、性能の低いモデルは回答が長い、ということが起きる。
また、賢いモデルは理想の回答ベクトルに到達したという判断も精度が高いけど、性能の低いモデルだと、回答ベクトルに到達したという自信も低いので、求める答えがでてきたあとも、余分な関連知識を追加してくる。
質問に関する関連情報が増えれば、理想の回答のベクトルに近づきやすい。
ということで、性能が高いモデルじゃないと「説明するべき中心概念」を当てれないし、「最短距離でたどりつく」ができないし、さらに「子どもにわかりそうな概念だけを使う」という縛りプレイがあればもっと難しくなるので、子どもの質問に答えるためにはモデルの性能は必要じゃないかと思う。
これはGPT-oss 20Bに「小学生でもわかるように恐竜が滅んだ理由を説明して」の回答だけど、単に変な言葉遣いをして大人向けの回答をする感じになっている。
直接答えを出さずに回答を導くというのはさらに難しい条件になるので、性能の低いモデルで子ども向けに答えさせるというのはなかなか難しいんじゃなかろうか。
ファインチューンでできるのは、言い回しの調整くらいになると思う。
