今回は、AIシステム特有の脅威とその対策を体系化した「OWASP AI security threats and controls navigator」の内容を整理し、自身の学びとしてまとめました。
原文：OWASP AI security threats and controls navigator
- 1. ガバナンス (Governance)
- 2. 実行時の使用に対する制御 (Controls against threats through runtime use)
- 3. 開発時の脅威に対する制御 (Controls against development-time threats)
- 4. ランタイム・アプリケーション・セキュリティ脅威 (Runtime application security threats)
- おわりに
1. ガバナンス (Governance)
このセクションでは、すべての脅威に対する一般的な管理策（General controls against all threats）が定義されています。
主な目的は、モデルの振る舞いにおける整合性の問題への対処（Deal with behaviour integrity issues）と、機密データの制限（Sensitive data limitation）にあります。
組織的なプログラム（AIPROGRAM, SECPROGRAM等）の策定をはじめ、教育（SECEDUCATE）、透明性（AITRANSPARENCY）の確保、さらにはデータの最小化（DATAMINIMIZE）や保持制限といったデータ管理に関する制御が含まれます。
これらを通じて、モデルIPや学習データの機密性、モデルの可用性、そして振る舞いの整合性を多角的に保護する仕組みとなっています。
2. 実行時の使用に対する制御 (Controls against threats through runtime use)
こちらのセクションでは、AIモデルが稼働している際の使用（ランタイム・ユース）を通じて発生する脅威への対策です。
まず、常に適用すべき管理策として、使用状況の監視（MONITORUSE）、レート制限（RATELIMIT）、モデルへのアクセス制御（MODELACCESSCONTROL）が挙げられています。
これらを基盤とした上で、以下の各リスクに対処します。
回避攻撃への対策（Against evasion）：異常入力や敵対的入力の検知（DETECTODD/ADVERSARIALINPUT）、堅牢なモデルの採用、敵対的学習が含まれます。
データ漏洩への対策（Against data disclosure by use）：モデル出力のフィルタリングや、モデル反転・メンバーシップ推論攻撃への対策を通じ、学習・テストデータやモデルIPの機密性を守ります。
モデル盗用への対策（Against model theft by use）：確信度の隠蔽（OBSCURECONFIDENCE）やスモールモデルの活用による対策が講じられます。
使用による障害への対策（Against failure by use）：DoS攻撃用の入力検証やリソース制限により、システムの可用性を維持します。
3. 開発時の脅威に対する制御 (Controls against development-time threats)
モデルの開発フェーズにおける脅威に対処するための領域です。常に適用すべき管理策として、開発データの保護（DEVDATAPROTECT）、開発環境のセキュリティ、サプライチェーン管理（SUPPLYCHAINMANAGE）、機密コンピューティングなどが定義されています。
具体的な攻撃への備えとしては、データポイズニングや開発時のモデル汚染、転移学習攻撃といった「広範なモデル汚染（Against broad model poisoning）」に対し、データ品質管理やモデルアンサンブル等で振る舞いの整合性を保護します。
また、学習・テストデータ、モデル、ソースコードや設定情報の漏洩を防ぐことで、開発プロセス全体における機密性を確保します。
4. ランタイム・アプリケーション・セキュリティ脅威 (Runtime application security threats)
このセクションでは、主にインジェクションを通じたCIAリスク（CIA risks through injection）に焦点が当てられています。
AI固有ではない一般的な脅威に対しては、従来の技術的なアプリケーションセキュリティ管理策や運用セキュリティを適用します。
その上で、不安全な出力取り扱いへの対策としてモデル出力のエンコード（ENCODEMODELOUTPUT）を実施し、直接的および間接的なプロンプト・インジェクションに対しては、入力検証（PROMPTINPUTVALIDATION）や入力の分離（INPUTSEGREGATION）を講じることで、モデルの整合性と機密性を維持します。また、入力データそのものの漏洩を防止する対策もここに含まれます。
おわりに
今回の整理を通じて、AIセキュリティという新しい領域においても、その土台には強固なガバナンスとサプライチェーン管理、そしてCIAの三原則に基づいた管理策が不可欠であることを学びました。
特に、従来のアプリケーションセキュリティの知見に、プロンプト・インジェクションやモデル汚染といった固有の概念をいかに統合して考えるべきか、その具体的な構成を理解することができました。
これまで学んできたサプライチェーン強化の視点に加え、AI特有のランタイム・リスクを体系的に把握できたことは、自身のセキュリティに関する知識をより多層的なものにする大きなステップとなりました。今後も技術の進展に合わせ、これらの管理策の実践的な適用方法について学びを深めてまいります。
