Hello there, ('ω')ノ

誤情報とは？

LLMは統計的に文章を予測して作る仕組みなので、「正しさ」より「自然さ」を優先します。そのため：

• 事実無根の内容を自信満々に語る（ハルシネーション）
• 学習データ由来の偏りや誤りを再現する
• 不完全な情報を埋め合わせようとして捏造する

といった現象が発生します。さらに、ユーザーがAIを過信（Overreliance）することで、誤情報がそのまま意思決定やシステムに組み込まれる危険が増大します。

---

具体例：初心者でもイメージしやすい攻撃シナリオ

例 1：旅行チャットボットの誤案内

• 攻撃／状況：利用者がフライト規則を確認 → AIが誤った規則を回答。
• AIの誤作動：実際には存在しないキャンセルポリシーを案内。
• 被害：利用者が誤情報を信じて損害、企業は訴訟リスク。
• 簡単防御：重要情報は外部データベースと照合（RAG導入）し、AI単独で答えさせない。

---

例 2：法律相談AIが偽の判例を生成

• 攻撃／状況：ユーザーが「参考になる裁判例を」と質問。
• AIの誤作動：存在しない裁判例をもっともらしく捏造。
• 被害：誤った情報が裁判資料に使われ、重大な混乱。
• 簡単防御：AI出力は必ず人間の専門家が確認、法的分野では二重チェック必須。

---

例 3：健康相談チャットが誤った治療法を推奨