Hello there, ('ω')ノ
なぜ「ライフサイクル」で考えるのか?
OWASPは、LLM/GenAIを企画 → データ準備 → 開発 → テスト → リリース → デプロイ → 運用 → 監視/ガバナンスの一続きの流れで捉え、各段階に対応するセキュリティ任務(SecOps)を地図化しています。目的は、“抜け・モレ”をゼロにすること。どこで何を守り、何を確認すべきかが一目でわかる設計思想です。
8つの段階と「攻撃者の狙い」→「守り方」
1) Scope & Plan(企画・要件・脅威モデリング)
攻撃者の狙い
- 過大な権限設計(後で権限昇格が楽になる)
- 外部ベンダやモデルのリスク見落とし(供給網から侵入)
やること(守り)
- アクセス制御の方針(最小権限・MFAを前提に)
- 規制/倫理・プライバシー影響評価(早い段階で)
- サードパーティ/モデル提供者のリスク評価
- 脅威モデリング(LLM特有の誘導/データ漏えい/権限悪用)
現場KPI:脅威モデリング完了率、特定リスクの緩和計画有無、最小権限の適用率
2) Augment, Fine Tune, Data(RAG/微調整/データ)
攻撃者の狙い
- 学習/検索用データに毒を混ぜる(データポイズニング)
- ベクトルDBからの機密吸い出し
やること(守り)
- データ源の検証(出所・改ざん検知)
- 安全なデータパイプライン/ベクトルDB(暗号化/アクセス制御/監査)
- 逆プロンプト・敵対入力への頑健性テスト
- モデルの整合性検証/シリアライゼーションのスキャン(マルウェア混入防止)
現場KPI:データ検証カバレッジ、暗号化適用率、ベクトルDBの監査ログ検知件数
3) Develop & Experiment(アプリ統合・実装)
攻撃者の狙い
- 依存ライブラリ経由の侵入口(サプライチェーン)
- LLMエージェントの権限濫用
やること(守り)
- SAST/DAST/IAST & SCA(コード/依存の自動スキャン)
- エージェント/ツールの権限・所有者・行動制御
- モデル×アプリの相互作用テスト(プロンプト境界・出力検証)
- 実験トラッキング(誰が何を変えたかを追跡)
現場KPI:重大脆弱性の修正SLA、依存ライブラリの更新レイテンシ、権限レビュー頻度
4) Test & Evaluate(総合テスト)
攻撃者の狙い
- リリース直前の“穴”(負荷/境界条件/偏りの見落とし)
やること(守り)
- 敵対的テスト/プロンプト・ファザー/レッドチーム演習
- バイアス/公平性テスト & 解釈可能性確認
- ベンチマーク/ペネトレーションテスト
- ASOC(アプリ脆弱性統合)で結果を一元化
現場KPI:高リスク発見数のトレンド、再現性のあるプロンプト注入成功率、未解決Findingsの残存率
5) Release(リリース準備)
攻撃者の狙い
- アーティファクト差し替え/署名なりすまし
やること(守り)
- AI/ML BOM(部品表)作成
- モデル/データセットの署名・検証
- CI/CDへのセキュリティ組み込み(静的/動的解析ゲート)
- シリアライゼーション防御(危険フォーマット封じ)
現場KPI:署名検証成功率、無署名アーティファクト拒否件数、ゲート違反のブロック率
6) Deploy(本番デプロイ)
攻撃者の狙い
- 秘密情報・APIキーの奪取
- ネットワーク境界/設定の甘さ
やること(守り)
- MFA/ゼロトラスト/秘密管理
- LLM対応WAF/安全なAPIアクセス
- デプロイ検証・構成の健全性チェック
- ユーザ/データプライバシ保護
現場KPI:秘密のローテーション間隔、WAF遮断イベント、構成ドリフト検知数
7) Operate(運用)
攻撃者の狙い
- ランタイムでのプロンプト注入/データ漏えい
- パッチ遅延中の既知脆弱性悪用
やること(守り)
- ランタイム自己防御/LLMガードレール/出力検証
- インシデント検知と即応(プレイブック化)
- パッチ/モデル更新管理(互換性テスト付き)
- エージェント連鎖の異常検出
現場KPI:検知から封じ込めまでの平均時間、出力検疫(Policy Violation)率、更新適用SLA
8) Monitor & Govern(監視とガバナンス)
攻撃者の狙い
- 監査弱点/ログ不足/ルール未整備
やること(守り)
- モデル挙動/敵対入力の常時検知
- 規制準拠トラッキング/監査/リスク管理
- バイアス/公平性の継続レビュー
- ユーザ/機械アカウント/エージェント行為の監査
現場KPI:規制監査の指摘件数、モデルドリフト検知→是正までのリードタイム、監査証跡の完全性
レッドチーム(攻め)× ブルーチーム(守り)最短プレイブック
よくある攻撃観点
- プロンプト注入/越権指示(システムプロンプトやツール権限の上書き誘導)
- トレーニング/検索データからの漏えい(PIIや機密の抽出)
- モデル/データ署名バイパス(供給網)
- エージェント・ツール連鎖の悪用(ファイル操作/外部呼び出し)
対抗テスト例(レッド)
- プロンプト・ファジング(脱走系/役割転換/文脈破壊)
- RAGデータに毒を混ぜる試験
- エージェントの“危険ツール”行使誘導(削除/送信/署名操作)
- モデル・シリアライズ形式の悪用(読み込み時RCE想定)
防御の必須設定(ブルー)
- 出力検疫(ポリシー/正則/ガードレール)
- 権限の粒度/制限(ツールごと・目的限定)
- 秘密・鍵の保護と短期ローテーション
- 署名・BOM・サプライチェーン検証
- 観測性(プロンプト/出力/呼び出し/人手介入の監査ログ)
すぐに使える「段階別チェックリスト」
全段階共通
- 最小権限・MFAの徹底
- 署名とBOMで“何が動いているか”を可視化
- ASOCで脆弱性情報を一元化→SLAで駆動
RAG/微調整
- データ出所・改ざん検証
- ベクトルDB暗号化&行単位アクセス
開発/実験
- SAST/DAST/IAST/SCAをCIに組み込み
- エージェントの行動制約(ホワイトリスト化)
テスト/評価
- プロンプト・ファザー & レッドチーム演習
- 公平性・説明可能性の検証
デプロイ/運用/監視
- LLM対応WAF/出力検疫/ランタイム自己防御
- 異常/逸脱検知と自動封じ込め
- 監査(ユーザ/機械/エージェント)と定例レビュー
役割分担のコツ(RACIのヒント)
- Product/企画:脅威モデリング責任/規制影響評価
- Data/ML:データ検証/ベクトルDB防御/モデル整合性
- App Eng:安全な統合/ガードレール/SAST/DAST
- SecOps:ASOC運用/署名・BOM/インシデント対応
- GRC:ガバナンス/監査/公平性レビュー
まとめ:まず「3点」を今日から入れる
- プロンプト出力の“検疫レイヤ”(ポリシー違反・漏えい・越権をブロック)
- モデル/データの署名+BOM管理(供給網の見える化)
- ベクトルDB・秘密のゼロトラスト運用(暗号化・最小権限・短期鍵)
これだけでも、攻撃者の“最短ルート”を大幅に遠回りさせられます。より体系的には、OWASPのランドスケープ図に沿って、自社のセキュリティ活動を段階ごとに棚卸ししていきましょう。
出典
OWASP GenAI Security Project: Cheat Sheet – Gen AI Security Solution Landscape (Q2–Q3 2025)(CC BY‑SA 4.0)
Best regards, (^^ゞ