今回は、MITREから公開された資料「SAFE-AI: A Framework for Securing AI-Enabled Systems」の内容を読み解いていきます。AI技術の急速な普及に伴い、そのセキュリティ確保は喫緊の課題となっています。本資料は、AI対応システムの安全性を評価し、管理するための具体的なフレームワークを提示するものです。
SAFE-AIフレームワークの概要(エグゼクティブ・サマリー)
SAFE-AIフレームワークは、AI技術をシステムアーキテクチャに統合する際に生じるリスクを徹底的に評価することの重要性を強調しています。本フレームワークは、AI固有の脅威や懸念を体系的に特定し、対処することで、セキュリティ管理策の選択および評価のプロセスを強化することを目指しているとのことです。また、NIST(米国国立標準技術研究所)の規格およびMITRE ATLAS™フレームワークに基づいた構成となっています。
AIは、データへの固有の依存関係と学習プロセスを通じて攻撃対象領域を拡大させ、敵対的入力、ポイゾニング、自動意思決定の悪用、モデルのバイアスの悪用、機密情報の露出といった攻撃の要因となります。また、AIモデルの明確な出所(プロベナンス)が不明であることに起因するサプライチェーンの脆弱性も、大きな懸念事項として挙げられています。
第1章:はじめに
本資料の目的は、AI対応システムのセキュリティを確保するための具体的なガイダンスを提供することとされています。AIはITシステムの性質を急速に変化させ、変化にともない新たな脅威も増大しており、本資料ではAI特有の脅威に対処するセキュリティ管理策の選択に焦点を当てています。
対象読者は、情報システムの保護、システムセキュリティ計画(SSP)の策定、セキュリティ管理策評価(SCA)の実施、あるいは敵対的AIを防御するシステムアーキテクチャの開発を担当するサイバーセキュリティおよびAIの専門家とされています。
範囲については、敵対的AIの脅威、懸念、セキュリティ管理策、およびAI対応システムの安全な使用に関連するガイダンスを網羅しています。大規模言語モデル(LLM)や生成AI(GenAI)に加え、従来の機械学習(ML)技術も含まれますが、公平性や説明可能性などの原則的な目的は範囲外と定義されています。
背景として、AIシステムは従来のITシステムとは異なる独自の非決定論的な振る舞いをするため、従来の基準に基づくセキュリティ評価ではAI固有の脅威を見落とす可能性があります。モデルの本質的な不透明性や、トレーニングデータへの機密情報の意図しない埋め込み、そして出所が不明なサプライチェーンのリスクといった課題が指摘されています。
第2章:SAFE-AIフレームワークの構成とプロセス
SAFE-AIは、既存のMITRE ATLAS™やATT&CKフレームワーク、NIST RMF(リスクマネジメントフレームワーク)、NIST AI RMFを調和させるためのプロセスとされています。
■ フレームワークの基礎
脅威に基づいた(threat-informed)モデルを提案しており、システムを「環境」「AIプラットフォーム」「AIモデル」「AIデータ」という4つの要素に分類してリスクを分析します。これにより、同じ管理策であってもシステム要素ごとに異なる評価ガイダンスを提供することが可能になります。
■ RMFステップ:準備(Prepare)
AI専門家の特定、リスク許容度の再評価、組織全体のリスク評価への組み込み、および共通管理策の調整という4つのタスクの強化が提案されています。準備段階において、個々のAIの懸念事項に対処するための計画を策定する必要があります。
■ RMFステップ:選択(Select)
管理策の選択において、AI固有の脅威と懸念事項を考慮してシステムセキュリティ計画(SSP)を補強します。本フレームワークでは、100のNIST SP 800-53管理策がAIの影響を受ける可能性があるものとして特定されています。
■ RMFステップ:評価(Assess)
セキュリティ評価計画(SAP)を補強するための質疑応答(Q&A)セットを提供し、システムオーナー等へのインタビューをサポートします。評価者は、4つのシステム要素の文脈で、各管理策をAIの懸念事項に照らして批判的に検討することが求められます。
付録資料の活用
資料の後半には、実践的な運用のための詳細なリソースが掲載されています。ATLAS™フレームワークとのマッピングや、AI対応システムに含めるべき100のNIST SP 800-53 Rev 5管理策のリスト、さらに評価者が使用する補足的なインタビューの質問回答セットなどがまとめられており、実務的な参照が容易な構成となっています。
おわりに
今回のSAFE-AIフレームワークの解読を通じて、従来のサイバーセキュリティの枠組みをベースとしつつ、AI特有の非決定的なリスクをいかに構造的に取り込んでいくべきか、その具体的なアプローチを学ぶことができました。特に、システムを4つの要素に分解して評価を行う考え方は、複雑なAIシステムを解きほぐす上で非常に有効と感じました。
日々進化するAI技術に対し、こうした体系的なフレームワークを一つひとつ紐解き、自らの知見として吸収していくことは、今後のセキュリティ実務において不可欠だと改めて認識しました。今後も最新の国際的な基準やガイドラインを継続的に学習し、より高度なセキュリティ対策の実現に向けて自身のスキルを研鑽していきたいと思います。
