今回は、12月5日に開催された総務省のAIセキュリティ分科会（第6回）で公開された「AIのセキュリティ確保のための技術的対策に係るガイドライン（仮称）」の案を読み解き、そこから得られた知見を自身の学びとして整理しました。
生成AIの急速な普及に伴い、AIシステム特有の脅威への対策が急務となっています。本ガイドライン案は、そのような背景の中で、開発者や提供者が講ずべき技術的対策の指針を示す重要なドキュメントです。
ガイドライン案のスコープ
本ガイドライン案は、「AI事業者ガイドライン」やAISI（AIセーフティ・インスティテュート）の評価観点を踏まえ、AIの「セキュリティ確保」に焦点を当てています。
具体的には、「不正操作による機密情報の漏えい、AIシステムの意図せぬ変更や停止が生じないような状態」を確保するための技術的対策が整理されています。
対象とするAIは、現在社会実装が急速に進んでいる大規模言語モデル（LLM）及びLLMを搭載したシステムです。なお、マルチモーダルなLLM（VLM）の登場に伴い、画像識別AI（CNN）への攻撃手法の転用リスクも考慮されていますが、技術発展の途上にあるAIエージェントについては、現時点では対象外とされています。
想定読者は、AI事業者ガイドラインでも定義されているAI開発者及びAI提供者となります。
想定される主な脅威
ガイドライン案では、攻撃の可能性が比較的高いと考えられる以下の2つの脅威への対策が中心に示されています。
一つ目はプロンプトインジェクション攻撃です。これはLLMに細工をした入力を行うことで、不正な出力をさせる攻撃です。直接プロンプトを入力する「直接プロンプトインジェクション攻撃」と、外部データを参照させることで間接的に攻撃する「間接プロンプトインジェクション攻撃」に分類されます。これにより、RAG用データストアの非公開情報の漏えいや、連携システムの不正操作といった被害が懸念されます。
二つ目はスポンジ攻撃（DoS攻撃）です。膨大な処理を必要とするプロンプトを入力することで、AIシステムに計算負荷をかけ、応答の遅延や停止を引き起こす攻撃です。
その他にも、一定の前提条件や執拗なアクセスが必要となる脅威として、以下のものが挙げられています。
- データポイズニング攻撃：学習データに細工をし、不正な出力をさせる攻撃。
- 細工をしたモデルの導入を通じた攻撃：悪意あるモデルを組み込ませ、不正な動作をさせる攻撃。
- モデル抽出攻撃：出力を分析して、類似のLLMを複製する攻撃。
脅威への対策
AIの性質上、脅威を完全に排除することは困難であるため、ガイドライン案では複数の対策を組み合わせることでリスクを低減するアプローチが提示されています。
AI開発者における対策としては、安全基準等の学習による不正な指示への耐性の向上が挙げられます。具体的には、意図しない出力を防ぐための事後学習や、指示の優先度を定義して学習させることが有効とされています。
一方、AI提供者における対策としては、以下の多層的なアプローチが推奨されています。
- システムプロンプトによる不正な指示への耐性の向上：制約事項やセキュリティ上の注意事項を設定する。
- ガードレール等による入出力や外部参照データの検証：入力プロンプト、外部データ、出力内容のフィルタリングを行う。
- オーケストレータやRAG等の権限管理：最小権限の原則を適用し、データへの参照権限を適切に設定する。
また、これらLLM特有の対策に加え、監査ログの保存やレートリミットの導入といった、一般的な情報セキュリティ対策も重要であるとされています。
ガイドライン案では、読者が具体的に検討できるよう、内部向けチャットボット（RAG利用）と外部向けチャットボット（外部連携利用）という2つの事例に基づいた分析も示されています。
今後の動向を踏まえた対応について
AI技術は日進月歩であり、AIエージェントやMCPによる複雑な連携、VLMなど入出力データの多様化が進む中で、脅威の質やリスクの深刻度も変化していくことが予想されます。
そのため、AI開発者及びAI提供者は、新たな技術や脅威の動向を常に注視し、対応を不断に見直していくことが重要です。総務省においても、関係機関と連携しながら、適時の対応を講じていくことが期待されています。
おわりに
今回、AIセキュリティに関するガイドライン案を読み解くことを通じて、生成AIの普及がもたらす利便性の裏側に、プロンプトインジェクションやスポンジ攻撃といった新たな脅威が存在していることを改めて認識しました。
特に、従来のセキュリティ対策に加え、AIモデルの学習段階やシステムプロンプトの設計、さらにはガードレールによる入出力検証といった、AI特有の多層的な防御策が必要になる点は、非常に重要な学びとなりました。開発者と提供者がそれぞれの役割において適切な対策を講じることが、安全なAI活用の大前提であると感じます。
この動向からは、AI技術の進化に合わせてセキュリティ対策も常にアップデートし続ける必要があるという強いメッセージを受け取りました。今後も、技術の進展と新たな脅威の動向に注目し、安全で信頼できるAIシステムの実現に向けて、自身の知識を深めていきたいと思います。
