- はじめに:AI時代の情シス必須知識「AIセキュリティ」の全体像を掴む
- 第1章:AIセキュリティの全体像:「AIを守る」「AIで守る」「AIの安全」
- 第2章:AIシステムを標的とする新たな脅威(リスク)
- 第3章:AIのための堅牢な防御戦略(対策)
- 第4章:特に注意すべき「生成AI」のセキュリティ
- 第5章:セキュリティのためのAI(AI for Security):AIは情シスの"味方"
- 第6章:日本国内のAIセキュリティ動向:ガイドラインと体制
- 第7章:結論:情シス担当者が明日から実践すべきアクションプラン
- 引用文献
はじめに:AI時代の情シス必須知識「AIセキュリティ」の全体像を掴む
こんにちは、城咲子です。東証プライム上場企業で情報システム部のセキュリティ担当 (CISSP保有) をしています。
AIがビジネスのあらゆる場面に浸透する中、私たち情報システム部門の役割も大きな変革期を迎えています。AIは業務効率化の切り札であると同時に、これまで経験したことのない新たなセキュリティリスクをもたらしているからです。
「AIのセキュリティって、従来のサイバーセキュリティと何が違うの?」
「ChatGPTを業務で使い始めたけど、何に気をつければいい?」
「経営層から『AIのリスクを説明しろ』と言われたけど、どう整理すれば…」
こうした疑問や不安は、多くの情シス・セキュリティ担当者が抱えているでしょう。
AIセキュリティは、もはや他人事ではありません。「経営の片腕」として事業を守る情シス部門が、今まさに直面し、対策を主導すべき最重要課題です。
この記事は、AIセキュリティに関する当ブログの全体像を示す「まとめ記事」です。 AIセキュリティの基本的な考え方から、主要なリスク、対策、生成AI特有の問題、そして国内外のガイドラインまで、各テーマへの入口となるよう網羅的に解説します。
第1章:AIセキュリティの全体像:「AIを守る」「AIで守る」「AIの安全」
AIとセキュリティの関係性を理解する上で、まず以下の3つの概念を区別することが重要です。
1.1. AIのためのセキュリティ (Security for AI)
本記事の中心テーマであり、「AIシステム自体を保護すること」です。 AIモデル、学習データ、インフラを悪意ある攻撃から守る取り組みを指します。AIの予測を誤らせる、データを汚染する、LLMを乗っ取るといった攻撃への対策が含まれます。
1.2. セキュリティのためのAI (AI for Security)
「AI技術を活用して、組織全体のセキュリティを強化すること」です。 膨大なログ分析による高度な脅威検知などがこれにあたり、私たちセキュリティ担当者の「味方」となる技術です。
1.3. AIセーフティ (AI Safety)
「AIが意図せず有害な結果を引き起こさないようにすること」です。 ハルシネーション(AIの嘘)やバイアス(偏見)による差別的な判断への対策などが含まれます。AIセキュリティ(外部からの攻撃対策)とは異なりますが、密接に関連します。
第2章:AIシステムを標的とする新たな脅威(リスク)
AIは、従来のシステムにはなかった新しい攻撃対象(アタックサーフェス)を生み出しました。ここでは主要な脅威の概要を解説します。より詳細なリスク分析や技術的背景については、以下のリスク編まとめ記事をご覧ください。
▼ AIセキュリティリスクの詳細はこちら
2.1. 敵対的攻撃 (Adversarial Attacks):AIの"目"を欺く
AIの認識能力を直接欺く攻撃です。入力データに微細なノイズを加えることで、AIに誤認識させます。自動運転や検品システム等で重大な事故を引き起こす可能性があります。
2.2. データ汚染 (Data Poisoning):学習データを"毒化"する
学習データに不正なデータを注入し、AIの性能を低下させたり、意図しない動作(バックドア)を埋め込んだりする攻撃です。外部モデル利用時のサプライチェーンリスクも考慮が必要です。
2.3. プロンプトインジェクション:LLMを乗っ取る最重要脅威
ChatGPTのような生成AI特有の深刻な脅威です。悪意ある指示(プロンプト)により、安全上の制約を回避させ、意図しない動作を引き起こします。特に、Webサイト等に埋め込まれた指示を実行させてしまう「間接的プロンプトインジェクション」は、外部サービス利用時にも注意が必要です。
2.4. モデル抽出とプライバシー侵害
AIモデルの不正コピー(モデル抽出)や、学習データに関するプライバシー情報(メンバーシップ推論)を推測されるリスクも存在します。
第3章:AIのための堅牢な防御戦略(対策)
これらの新たな脅威に対し、従来の対策だけでは不十分です。技術的・組織的な両面からのアプローチが必要です。具体的な対策手法や技術については、以下の対策編まとめ記事で詳しく解説しています。
▼ AIセキュリティ対策の詳細はこちら
3.1. 【技術】MLOps:セキュリティを開発ライフサイクルに組み込む
AIモデルの開発・運用プロセス(MLOps)に、データ検証や堅牢性テストといったセキュリティチェックを組み込むことが不可欠です。
3.2. 【技術】脅威別防御策:多層防御の実践
敵対的攻撃には「敵対的学習」、データ汚染には「データソース管理」、プロンプトインジェクションには「入力フィルタリング」や「権限最小化」など、脅威に応じた専門的な防御技術が必要です。
3.3. 【組織】AIガバナンス:ルールで組織を動かす
技術対策以上に重要なのが、AI利用に関する全社的なルール(AIガバナンス)の策定と運用です。情シスが主導し、利用ガイドライン作成などから始めることが現実的です。AIガバナンスの詳細や国内外の動向は、以下のガイドライン・ガバナンス編まとめ記事で解説します。
▼ AIガバナンス・ガイドラインの詳細はこちら
第4章:特に注意すべき「生成AI」のセキュリティ
ChatGPTをはじめとする生成AIの業務利用が急速に進む中、その特有のリスクと対策への注目度は非常に高まっています。プロンプトインジェクションだけでなく、機密情報の意図せぬ入力・学習による情報漏洩リスクや、著作権侵害リスク、AIによる社会的な偽情報の拡散など、考慮すべき点は多岐にわたります。
▼ 生成AIのセキュリティに特化した詳細はこちら
第5章:セキュリティのためのAI(AI for Security):AIは情シスの"味方"
ここまではAIの「脅威」側面を見てきましたが、視点を変えれば、AIは私たちセキュリティ担当者の「強力な味方」にもなります。
4.1. 脅威検知の高度化(NGAV/EDR)
従来のアンチウイルス(シグネチャ型)は、既知のマルウェアしか検知できませんでした。しかし、AIを活用したNGAV(次世代型アンチウイルス)やEDR(Endpoint Detection and Response)は、プログラムの「振る舞い」を分析します。
「このプログラムは、過去のマルウェアと似た怪しい動き(例:ファイルの大量暗号化)をしている」
「普段と異なる時間帯に、機密サーバーへ異常なアクセスが行われている」
このように、AIが未知の脅威や不正アクセスの"兆候"を検知してくれるため、防御能力が飛躍的に向上します。
4.2. セキュリティ運用(SOC)の自動化
セキュリティ運用チーム(SOC)は、日々発生する膨大なアラートの分析に追われ、「アラート疲れ」に陥りがちです。
AIは、この膨大なログを自動で相関分析し、本当に危険なアラートだけを優先順位付けして人間に通知します。これにより、アナリストはより高度な分析やインシデント対応に集中でき、運用負荷が劇的に改善します。AIの導入は、日本のセキュリティ人材不足という深刻な課題に対する現実的な解決策なのです。
第6章:日本国内のAIセキュリティ動向:ガイドラインと体制
AIセキュリティに関する国内外のルール作りも急速に進んでいます。日本の情シス担当者として、特に以下の動向は把握しておく必要があります。より詳しいガイドラインの内容や企業の対応については、ガイドライン・ガバナンス編まとめ記事をご参照ください。
▼ AIガバナンス・ガイドラインの詳細はこちら
【ガイドライン編まとめ】
5.1. 経済産業省・総務省「AI事業者ガイドライン」
日本のAIガバナンスに関する統一指針。「セキュリティ確保」も基本理念の一つ。経営層との共通言語に。
5.2. NISC「セキュアなAIシステム開発のためのガイドライン」
AIシステムのライフサイクルにおける具体的なセキュリティ対策を示した、情シス・開発者向けの実務手引書。
5.3. 中核機関「AIセーフティ・インスティテュート(AISI)」
IPA内に設立されたAI安全研究の中核機関。今後の国内対策の動向を注視。
第7章:結論:情シス担当者が明日から実践すべきアクションプラン
AIセキュリティは待ったなしの課題です。最後に、情シス担当者として明日から始めるべきアクションプランを提言します。
- ステップ1:現状把握(AI資産の棚卸し)
- ステップ2:ガバナンス体制の構築(まずガイドラインから)
- ステップ3:技術的対策の導入(優先順位付け)
- ステップ4:継続的な学習(自分と組織のアップデート)
AIの安全な活用は、これからの企業の競争力を左右します。私たち情シス部門がその羅針盤となり、リスクを適切に管理しながら、ビジネスの成長を支えていきましょう。
引用文献
- AI セキュリティとは? AI システムの保護|Microsoft Security
- AI セキュリティとは|Red Hat
- www.microsoft.com
- 注目集まる「AIセキュリティ」|攻撃の種類と緩和策を押さえる|NRIセキュア
- AIセキュリティの最前線:Security for AIとは?|AIセキュリティ
- サイバーセキュリティのための AI とは?|Microsoft Security
- セキュリティのための AI とは?|ServiceNow
- AIを悪用したサイバー攻撃とは?手口や被害事例・対策について解説|ペンタPRO
- 進化するAI!セキュリティ業界における実用例|NRIセキュア
- AIを活用したセキュリティ対策とは?具体例や注意点も解説|インターコム
- AIの安全性対セキュリティ: 区別と境界の解明(AI Safety vs. AI Security: Demystifying the Distinction and Boundaries)|AI Business Review
- 敵対的な攻撃(Adversarial attacks) – AI用語集(G検定対応)|zero to one
- OWASP Top 10 for LLMでLLM Applicationsのセキュリティについて ...|Zenn
- 生成AIのセキュリティリスクと研究動向|情報処理学会
- 【セキュリティ用語の基礎知識】AIを狙うサイバー攻撃とAIによるサイバー攻撃|HYPER VOICE
- 詳細解説|MBSD
- AIを諸刃の剣としないために知っておくべき敵対的事例とその対策 ...|デロイト トーマツ グループ
- AIの脅威!敵対的サンプルとは?攻撃方法や防御策について解説!|Jitera
- AIのデータポイズニングとは何ですか|Cloudflare
- 生成AIを毒で汚染?データポイズニングとは|わかりやすく解説|株式会社アクト
- AIモデルの汚染:攻撃の種類、メカニズム、そして防御策|AIセキュリティ
- プロンプトインジェクションとは?生成AIの脆弱性を狙った攻撃手法|情報セキュリティもALSOK
- プロンプトインジェクションとは|AI時代の新たな脅威と効果的な対策|AeyeScan
- プロンプトインジェクションとは|脆弱性診断の標準化企業 SHIFT SECURITY
- プロンプト・インジェクション攻撃とは|IBM
- MLOpsとは何か?|Elastic
- MLOpsとは?早くから検討すべき理由と、これからの機械学習のあり方|NEC
- MLOps とは|Google Cloud
- MLOps とは何ですか? - 機械学習オペレーションの説明|AWS
- 「AI事業者ガイドライン」案 概要|首相官邸
- ML02:2023 データポイズニング攻撃 (Data Poisoning Attack)|owasp-machine-learning-security-top-10-ja
- 第5回:Activation Clustering -学習データ汚染攻撃の対策-|JPSEC
- 静的解析の活用で汚染データから組込みアプリケーションを保護|セキュリティ脆弱性検証|ユビキタスAI
- プロンプトインジェクション攻撃とは?仕組みと対策|サイバーセキュリティ.com
- プロンプトインジェクションとは? 攻撃の仕組みや対策など|日立ソリューションズ・クリエイト
- Web Application Firewall:プロンプトインジェクション攻撃対策|Alibaba Cloud
- プロンプトインジェクションとは?意味や例、類似の技術も紹介|侍エンジニア
- マイクロソフトが間接プロンプト インジェクション攻撃を防ぐ方法|Microsoft
- AIガバナンス―企業に求められるあるべき姿と導入メリットについて解説|株式会社モンスターラボ
- AIガバナンスとは?必要な背景と企業が実施できる方法などを解説|Fujifilm
- パロアルトネットワークス、「日本企業のサイバーセキュリティにおけるAI・自動化 活用」に関する調査結果を発表|Palo Alto Networks
- 生成AIセキュリティ対策 | AIリスク診断・ガバナンス・プロンプト ...|NRIセキュア
- 総務省と経済産業省が策定した「AI事業者ガイドライン」とは?|PC-Webzine
- AI事業者ガイドライン検討会|デジタル基盤センター|IPA 独立行政法人 情報処理推進機構
- AI 事業者ガイドライン|経済産業省
- AIセキュリティに関する検討について|総務省
- 内閣府 セキュアAIシステム開発ガイドライン(2023年11月発行) 解説|Qiita
- セキュアAIシステム開発ガイドライン等に関する説明会を開催 (2024年2月22日 No.3626)|日本経済団体連合会
- セキュアな AI システム開発のためのガイ ドライン|NISC
- AIが予測するサイバーセキュリティ業界 業界|2030年市場規模推移 ...|xenoBrain
- 国内情報セキュリティ市場 2023年度調査報告|JNSA
- サイバー攻撃や生成AIの動向を反映し、国内セキュリティソフトウェア市場は2029年まで年12%成長 IDC|IT Leaders
- AIのためのセキュリティ、セーフティ|社会・産業のデジタル変革|IPA 独立行政法人 情報処理推進機構
- AIセーフティ・インスティテュートを設立しました|経済産業省
- AIセーフティ・インスティテュート(AISI)の 今後の活動 ...|内閣府
- AISI Japan|AI Safety Institute
- AIセーフティ・インスティテュート(AISI)について|AISI
- 産総研:生成AIを用いたシステムのリスク低減と信頼性向上のために|産総研
- NICT サイバーセキュリティ研究所の取り組み|総務省
- 世界を狙うAIセキュリティ革命 AcompanyがスタートアップW杯東京 ...|朝日新聞GLOBE+
- AIセキュリティの社会実装を加速するパートナー戦略。ChillStackと ...|PR TIMES
- AIセキュリティスタートアップSherLOCK 生成AI特有の脆弱性を ...|PR TIMES