AI の得意なこと・苦手なことをざっくりまとめてみた

得意: まともな文章を高速に作成する
苦手: 魅力的な文章を作成する

LLM は高水準にチューニングされているので、現在は極めて品質の高い文章が生成されます。具体的には、以下のような文章が作成されます。

• 文法的誤りがないか、極めて少ない
• 全体的にバランスの取れた構成である
• 標準的な表現を適切な分量だけ用いる

この水準は一般的な人の文章力をはるかに超えると言ってよいと思います。例えば「ビジネスメールの本文を作成してください。用件は〜」と命令すると、かなり実用的な文が作成されますが、このレベルの文を作れる人はかなり訓練を積んだ人だろうな、と感じさせます。

一方、魅力的な文章を作成することは必ずしも得意ではありません。より正確に言えば「どこかで見たことのあるような表現ではない、当意即妙な表現」を生むことはかなり苦手です。LLM はその性質上、多くの人が選ぶ標準的な文の生成に特化しています。それは却って無機質な印象を与えることもあります。「この場面では、あえてこの言葉選びをしたほうが魅力的」といったような判断はかなり厳しいです。

得意: ユーザーが素人な分野の知識を説明する
苦手: ユーザーが詳しい分野の知識を説明する

ここの素人というのは「その分野を学んだ人であれば一般的な知識を持っていない」という意味です。LLM は学習の過程で、人間がとても一生の間に読むことの出来ないとてつもない量の文章を読んでいるので、知識の量が半端ないです。分野にもよると思いますが、簡単な入門書を1冊読んで得られるような知識はすでに LLM が持っていると考えてよいと思います。

一方、ユーザーが詳しい分野の知識を聞いた場合、説明が正確ではないことが目につくようになると思います。これには

• LLM がそのような知識を持ち合わせていない
• 細かい誤りに気づいてしまう

の側面があると思います。素人の場合は誤っているかどうか判断できないし、そもそもそんなに正確でなくても問題にならないケースが多い、ということの裏返しです。

ただし、ある程度詳しい分野であっても「そういえばあれなんだっけ・・・ど忘れした」といったケースであれば、(マニアックな知識でなければ) 十分活用できると思います。

得意: 既存のパターンを真似る
苦手: 新規性の高いアイディアを実行する

特にプログラミングで LLM を利用する場合、すでに与えられた実装を真似て一部変更したコードを生成させるケースがありますが、これはすこぶる得意です。LLM は文脈に基づいて文章を生成する機械なので、文脈を真似るタスクはピッタリというわけです。似たテクニックとして、事前に「○○というアルゴリズムってどういうアルゴリズムだっけ？」と聞いて思い出させてから、「じゃあそれを実装して」とやると成功率が上がる、というのもあります。

一方、全く新規の内容で、一般によく知られている実装ではないものを書かせることは、比較的苦手です。例えばボードゲームのビットボードの実装を与えようと思っても、ビットボード技術自体がかなりマニアックなため、LLM はその知識を持ち合わせていません。命令でかなり詳細を与えたとしても、不正確なコードを生成しがちです。

得意: 少ない命令・曖昧な命令で類推して行動する
苦手: きめ細かな命令を正確に実行する

ここ数十年の「コンピューター」のイメージに反して、LLM は少ない情報から類推することが得意です。LLM の仕組み自体が類推に基づいており、その類推の仕方は人間が書いた大量の文章を元にチューニングしているので、人間特有の情報の絞り方にはかなり慣れている、ということかと思います。「人間ならこれぐらい言えば分かるだろう」ぐらいの情報を渡せば、体感 7~8 割ぐらいはちゃんと理解してくれます。また、多少の誤字脱字や表記ゆれがあったとしても、適切に理解してくれることが多いです。

一方、堅実なロジカルシンキングは人間よりはるかに苦手と思ってよいと思います。人間がよく書く文書の型を勉強しているので、表面的にはロジカルに見える文を生成することがありますが、数段階の推論をさせようとすると簡単に破綻します。

このため、多くの命令を正確に実行することは苦手です。人間が細かい命令を実行する際にはおそらく「命令の内容をロジカルに整理しておき、実行時に絶えずその論理的な脳内処理を回す」ということをしていると思うのですが、AI はそのような構造を持っていないので、人間には自然と思える行動が取れないのだと思います。

ところで、ロジカルシンキングを行いたい場合は「推論モデル」と呼ばれる高級なモデルを使えば良い、とされています。OpenAI の GPT-o4 や Claude の thinking モードがこれにあたります。これらをうまく活用すれば、細かい指示も拾えるかもしれません。

得意: 前提となる知識を踏まえて実行する
苦手: なにもないところから実行する

さきほどの項目と矛盾するようですが、類推の限界を超えたタスクを実行させる場合、やはり明示的に文脈を示す必要があります。背景となる知識やタスクのねらいなどをまとめた文書があると、LLM の出力の性能が上がります。

少し直観に反することは、「LLM が知識を持っている」ということと「その知識を踏まえた出力をする」ということは異なるということです。人間相手に対して「〇〇して」と命令してうまくいかなかった場合、その人は〇〇に対する知識が足りていないと判断すると思います。しかし、LLM の場合は「〇〇とはなんですか？」と事前に質問し、その後「〇〇して」と命令すると、クオリティが大きく変わることがあります。「知識を思い出す」という回路と「知識を活用する」という回路が別なようなイメージです。

得意: ユーザーに寄り添った返答をする
苦手: 中立的な立場で対応する

最近のモデルに顕著ですが、特に工夫をしない場合、ユーザーの意見に賛同する返答をする可能性が高いです。どちらの立場も考えられるような問いかけの場合、プロンプトで「この意見は正しいと思う」と書くと「はい、正しいですね！」と返ってくるし、「この意見は誤っていると思う」と書くと「確かに、正しくないですね」と返ってくる可能性が高いです。いわゆるイエスマン的な振る舞いです。自分の気持ちをただただ聞いてほしい、という場面では有利に働くと思います。

一方、自分の考えに対して多角的な視点から議論したい場合には、この性質は不利に働きます。もしそういった振る舞いをしてほしい場合は、プロンプトで「この意見に対して賛成の立場と反対の立場の両方で意見をください」などのように、両論併記を促すとかなり改善します。