最近の生成AIの登場で、様々な分野でのAI活用が一気に進んでいます。
便利になる一方で、「セキュリティは大丈夫なの？」「どんなことに気を付けたら良いの？」といった声もよく聞くようになりました。
私自身も、AIガバナンスやセキュリティについては日頃から関心を持って学んでいます。
今回は、そんな中で見つけた「生成AIを利用する上でのセキュリティ成熟度モデル」というドキュメントについて、読み解いていきたいと思います。
このドキュメント、NPO日本ネットワークセキュリティ協会 (JNSA) 調査研究部会AIセキュリティWGの皆さんが作成されたものです。
www.jnsa.org
このモデルは、組織が生成AIをセキュアに利用するためにどんな項目に取り組む必要があるのかを、利用ケースごとに整理してくれていいます。
この記事では、特に「成熟度」って何だろう？ということと、利用ケースごとに考えられる実施事項について、ドキュメントの構成に沿って見ていきたいと思います。
「生成AIを利用する上でのセキュリティ成熟度モデル」とはどのようなものか？
このドキュメントの目的は、組織が生成AIを安全に活用するための必要な項目を、利用ケースごとに整理し、組織のセキュリティ対策の参考になるように提供することとなっています。
「利用ケース」としては、主に以下の4つの形態が想定されています。
- 外部サービスの利用：ChatGPTやGemini等の外部サービスを提供元が提供するWebインタフェースやスマートフォンアプリケーション等から利用する組織。
- APIを利用した独自環境での利用：OpenAI APIやGemini API等のAPIを自社のサービスや社内環境と連動させて利用する組織。
- 自組織データの利用：ファインチューニングやRAG(Retrieval-Augmented Generation)の技術を用いて自組織のデータを生成AIに利用する組織。
- 自組織向けモデルの開発：自組織向けにモデルを独自開発する組織。
これらの利用形態で想定される外部からの脅威と、それらに対するアクション・対策が一覧化されています。
モデルにおける「成熟度」とは？
さて、タイトルに「成熟度モデル」とあります。
これまでのガイドラインなどでも、段階的なステップが示されることがありますが、今回のソースで「成熟度」という言葉自体について、具体的なレベル分けや定義が詳しく解説されている部分は見当たりませんでした。
ただ、ドキュメントの目的が「セキュアに利用するために必要な項目を、利用ケースごとにマッピングし、組織の一助となること」ですので、組織がここに挙げられている様々な脅威や対策の項目に対して、どれだけ網羅的に、そして深く対応できているかが、その組織のセキュリティの「成熟度」を示す、と捉えるのが良さそうです。
つまり、このドキュメントの項目をどれだけ実践できているかが、成熟度を測る一つの基準になるのかもしれません。
利用ケースごとの実施事項
このモデルでは、脅威と対策がいくつかのカテゴリに分類されています。外部からの脅威は「E」と「L」、それに対するアクション・対策は「A」「M」「P」として整理されています。
E: 外部からの脅威（入出力関連）
生成AIへの入力や、そこからの出力に関連する外部からの脅威として、以下の項目が挙げられています。
- E-01: プロンプトインジェクション
- E-02: モデルへのDoS
- E-03: 過剰な代理行為
- E-04: 機微情報の漏洩
特に「機微情報の漏洩（E-04）」では、後で生成AIによって他の利用者に出力される可能性のある機微情報を意図せずに入力することに関するリスクについて言及されています。
対策として、適切な入力検証とサニタイズによって機微情報が生成AIモデルに入力されるのを防ぐことなどが挙げられています。
L: 外部からの脅威（モデル関連）
生成AIのモデル自体に関連する外部からの脅威として、以下の項目があります。
- L-01: 訓練データの汚染
- L-02: モデルの盗難
「モデルの盗難（L-02）」は、大変なコストと時間をかけて学習されたモデルという重要な資産が狙われる脅威です。
これには、不正アクセスによるモデルファイルの盗難や、AIの入出力結果から同じようなモデルを独自に作成するシャドウモデル作成が含まれます。
シャドウモデル作成で100%同じモデルを作るのは難しいそうですが、それでも十分な脅威です。
対策としては、システムへのアクセス制御や認証、脆弱性管理、モニタリング、APIレート制限といった多層防御が大切だとされています。
A: 脅威へのアクション・対策（アプリケーションのセキュリティ）
生成AIを利用するシステムやアプリケーション自体のセキュリティに関する対策項目です。
- A-01: 適切なアカウント管理
- A-02: 構築したアプリケーションのセキュリティ
- A-03: 利用するインフラのセキュリティ
- A-04: 利用するサービスの管理
これらの項目は、組織が生成AIサービスを利用したり、AIを組み込んだシステムを構築・運用したりする際に、基盤となるセキュリティ対策をしっかりと行うことを示唆していると考えられます。
システムの機密性、完全性、可用性を維持するための対策や、セキュリティ・バイ・デザインといった考え方にも通じる部分がありそうです。
M: 脅威へのアクション・対策（モニタリング）
生成AIの利用状況などを監視することに関する対策項目です。
- M-01: 利用量のモニタリング
- M-02: コンテンツフィルタリング
- M-03: 履歴のモニタリング
「利用量のモニタリング（M-01）」は、不正な利用がないか、急に利用量が増えてリソースが枯渇しないかなどを監視するのに有効です。不正利用による過大な請求を早期に発見するためにも重要です。利用量を確認できるダッシュボードや、異常があった際の通知機能が対策として挙げられています。
「コンテンツフィルタリング（M-02）」は、生成AIが不適切な（暴力的など）出力をしてしまうことを防ぐための対策です。
これは、利用者の入力とAIの出力の両方に対して行う必要があるとのことです。
「履歴のモニタリング（M-03）」は、生成AIに何を入力したか、それに対してAIがどんな出力を行ったかを記録し、確認することです。
これは、もし機微情報を誤って入力してしまった場合や、不審なやり取りがあった場合の調査に役立ちます。
ただし、全ての履歴を詳細に保存すると膨大な量になるため、保存期間などを検討することも必要です。
P: 脅威へのアクション・対策（ポリシーと教育）
組織として生成AIを安全に利用するためのルール作りや、利用者の意識向上に関する対策項目です。
- P-01: 生成AI利用に関するポリシーの整備
- P-02: 生成AI利用に関する教育
- P-03: 法律や規制の確認
「ポリシーの整備（P-01）」は、生成AIの利用に伴う情報漏洩や、出力の事実誤認、著作権侵害などのリスクに対応するため、組織としての方針やルールを定めることです。ポリシーには、機密情報・個人情報の入力禁止といった「入力制限」や、出力内容の確認手順、利用できる業務範囲、データの取り扱い方針などを明確にすることが重要だとされています。
「従業員への教育（P-02）」は、技術の進化が速い生成AIにおいては特に不可欠な取り組みです。ポリシーを定めただけでは不十分で、従業員一人ひとりがリスクを理解し、適切な利用方法を身につける必要があります。定期的な教育が推奨されており、教育内容には、自社のポリシー理解 、セキュリティやリスクに関する意識向上、適切な利用シーンの理解などが含まれます。教育方法としては、eラーニングやシナリオベースの演習などが有効とされています。
「法律や規制の確認（P-03）」も、生成AIをグローバルに活用する上で非常に重要です。各国の法規制の整備が進んでおり、特にデータの取り扱いに関する規制は厳格な場合があります。利用するサービス提供者の利用規約や、サービス提供地域・データの保存場所に関連する法的な要件を確認することが必須です。日本国内でも、生成AIに特化した法律はまだですが、個人情報保護法や著作権法といった既存の法律は適用されることに注意が必要です。法的な解釈には専門家（弁護士など）への相談も推奨されています。
まとめ
生成AIはビジネスや社会に大きな恩恵をもたらす可能性を秘めていますが、それを安全かつ責任を持って活用するためには、ご紹介したようなセキュリティに関する様々な項目への対応が不可欠です。
今回読み解いた「生成AIを利用する上でのセキュリティ成熟度モデル」は、E（脅威：入出力）、L（脅威：モデル）、A（対策：アプリケーションセキュリティ）、M（対策：モニタリング）、P（対策：ポリシー・教育）という観点から、組織が取り組むべき項目を整理して示してくれています。
これらの項目が各利用ケース（外部サービス利用、自社開発など）でどのように関連し、どの項目を優先的に、あるいはどのレベルで実施すべきかといった具体的なマッピングも図示されていて、自社の利用形態に合わせた具体的な取り組みのロードマップを作成する上で、非常に参考になるものだと感じました。
AIを取り巻く状況は常に変化しています。私も常に最新の情報をキャッチアップして、適切な対応を続けていきたいです。
私自身も、これからもAIの技術だけでなく、ガバナンスやセキュリティといった側面についても、しっかり学びを深めていこうと思っています。
最後までお読みいただき、ありがとうございました。この記事が、皆さんの生成AI活用におけるセキュリティ対策を考える上で、何かヒントになれば嬉しいです。
