今回は、9月18日に開催された総務省「AIセキュリティ分科会（第1回）」の公開資料から、AIのセキュリティ確保に向けた国の動向と技術的対策の方向性について得られた学びを整理しました。
AI技術が社会実装の段階に入る中で、その安全性をいかにして確保していくか、まさに現在進行形で議論が進められている重要なテーマだと感じました。
- 「AIセキュリティ分科会」開催要綱
- AIセキュリティ分科会について
- AIセキュリティに関する検討の進め方について
- AIシステムに対する脅威の事例
- 「サイバーセキュリティタスクフォース」開催要綱
- AIシステムに対する既知の攻撃と影響
- おわりに
「AIセキュリティ分科会」開催要綱
「AIセキュリティ分科会」の開催要綱にえ、その設立の背景と目的が説明されています。
生成AIの急速な発展を受け、AIの安全な活用は社会全体の課題となっています。この中で、政府の「AI事業者ガイドライン」においても「セキュリティ確保」が重要な指針として掲げられ、また「AIセーフティ・インスティテュート（AISI）」による脅威の特定が進められてきました。
この分科会では、これらの動きを具体化するため「サイバーセキュリティタスクフォース」のもとに設置され、AIに対する脅威への技術的対策を専門的に検討する場として位置づけられています。
民間企業の専門家から大学、法律事務所まで、多様な構成員が名を連ねており、多角的な視点での議論が期待されています。
AIセキュリティ分科会について
次に、分科会の具体的な活動内容を示した資料からは、開催要綱に記載された内容に加えて、今後のスケジュール感と目指すゴールが明確にされています。
特に重要と思われるのは、「デジタル社会の実現に向けた重点計画」において、総務省が今年度末までに生成AIとセキュリティに関するガイドラインを策定・公表することが閣議決定されている点です。
この分科会はその策定に向けた中核的な役割を担っており、9月の第1回を皮切りに月1回程度のペースで検討を重ね、12月頃にはとりまとめを行うというかなりハイペースの計画が示されています。
AIセキュリティに関する検討の進め方について
本資料では、ガイドラインの具体的な検討スコープが示されています。
検討の中心は、AIの「セキュリティ確保」、すなわち「不正操作による機密情報の漏えい、AIシステムの意図せぬ変更や停止が生じないような状態」をいかに実現するかという点に置かれています。
主な対象として、社会実装が進む文章生成AI（LLM）と、攻撃手法が転用されうる画像識別AIが挙げられました。一方で、発展途上にあるAIエージェントは現時点では対象外とするなど、現実的なスコープ設定がなされています。
また、対策は「AI開発者」と「AI提供者」という二つの主体に分けて整理される案が提示されました。学習データに係る対策からプロンプトインジェクション対策、権限管理まで、多層的な防御を前提とした網羅的な検討が進められていることが伺えます。
AIシステムに対する脅威の事例
本資料では、AIモデルの性能を盗む「モデル抽出攻撃」や、学習データを再現してしまう「モデル反転攻撃」といった、AI特有の攻撃手法が整理されています。
また、学習データに悪意のあるデータを混ぜ込む「データポイズニング攻撃」、人間の目には見えないノイズで誤認識を誘発する「回避攻撃」、そして入力（プロンプト）を工夫することでシステムの意図しない動作を引き起こす「プロンプトインジェクション攻撃」など、その手口は多岐にわたります。
これらの脅威は、従来のセキュリティ対策だけでは防ぎきれない、新たなリスクパラダイムの到来を告げていると感じます。
「サイバーセキュリティタスクフォース」開催要綱
AIセキュリティ分科会の上部組織である「サイバーセキュリティタスクフォース」の開催要綱も参考資料として公開されています。
平成29年から続くこのタスクフォースは、サイバー攻撃の複雑化や脆弱性の拡大といった大きな動向に対応し、情報通信分野全体の対策を推進する目的で設置されています。
タスクフォースが分科会を設置できる仕組みになっており、まさにその規定に基づいて今回の分科会が開催されているという組織的な位置づけとなっています。
AIシステムに対する既知の攻撃と影響
また、AISIより、AIシステムに対する既知の攻撃と、それがもたらす影響を俯瞰的に整理した参考資料も公開されています。
この資料では、モデル抽出（A）やデータポイズニング（D）、プロンプトインジェクション（H）といった各種攻撃が、モデル漏洩（1）、学習データ漏洩（2）、モデル誤動作（6）、システム侵害（9）といった深刻な影響にどう結びつくかが体系的に示されています。
特に、物理メモリに直接干渉する「ロウハンマー攻撃（K）」のようなハードウェアレベルの脅威まで視野に入れられています。
おわりに
今回の資料群を読み解く中で、AI、特に生成AIのセキュリティ対策が、従来のサイバーセキュリティの枠組みを拡張し、モデルやデータそのものの信頼性をいかに担保するかという新たな課題に取り組む必要があることを改めて認識いたしました。
AI開発者と提供者の両輪での対策、そして多層的な防御の重要性が示されており、今後策定されるガイドラインの動向を引き続き注視し、学びを深めていく必要があると感じました。
技術の利用者としても、また社会の一員としても、この新しい領域の安全確保に向けた取り組みに貢献できるよう、引き続き知見を蓄積していきたいと思います。
