以下の内容はhttps://oregin-ai.hatenablog.com/より取得しました。


俺人トップページ

最新の記事:

oregin-ai.hatenablog.com

oregin-ai.hatenablog.com

oregin-ai.hatenablog.com

 

目次

 

 


Obsidian関連


最近の記事


まとめ記事

これまで私の取り組んできた内容のまとめ記事です。

2023年

2022年

2021年

2020年

2019年

資格関連

G検定、E資格、AWS認定の体験記などです。

G検定

E資格

AWS認定

CISSP


セキュリティ・ガバナンス関連

AIに関するセキュリティやガバナンスに関する記事です。

SoS-CPS 安全設計ディスカッションペーパー

第7回AI戦略会議 AI事業者ガイドライン案

機械学習システムセキュリティガイドライン Version 2.00

AI原則実践のためのガバナンス・ガイドライン ver.1.1


コンペ関連

各種コンペサイトでの振り返りや、記事のまとめです。

ProbSpace

Signate

Nishika

Solafune

Kaggle


講座・書籍関連

受講した講座や取り組んだ書籍の記録です。

米国AI開発者がゼロから教えるDocker講座(U-demy)

 

GCI 2019 Winter(東京大学グローバル消費インテリジェンス寄付講座)

Pythonによるスクレイピング&機械学習テクニック

オライリー・ジャパン社「実践 機械学習システム」


実装紹介など

Pythonでの実装や、環境構築などの記事です。

自然言語処理

SVM

自作パソコン


雑記

その他、イベント参加記録などです。

AI・人工知能EXPO2019

f:id:kanriyou_h004:20211115150125j:plain

以上

 

 

 

【考察】AIコーディングアシスタントにおける責任分解とガバナンス:人間とAIの共存に向けた活用と留意点

AIコーディングアシスタントの急速な普及と高度化に伴い、開発プロセスの在り方が根本から見直されています。

今回は、ツールの提供者とユーザーの間で定義されるべき責任境界、および適切なガバナンス体制の構築に向けた要諦を整理しました。

技術の進展に伴い、我々開発者がどのようにAIと向き合うべきか、その本質を学び取ることが重要と考えます。

第1章:責任分解の全体像と基本原則

AIコーディングアシスタントの進化は目覚ましいものがありますが、提供側とユーザー側の責任境界を明確化することは、安全な運用のための最優先事項です。

基本原則として、AIは開発者を完全に代替する「自動操縦」ではなく、効率を向上させるための「副操縦士(Copilot)」として定義されます。

最終的な判断と責任は常に人間が負う「Human-in-the-loop」の考え方がその根幹にあります。

提供側の責任範囲はあくまでAIモデルによる「提案」の段階までであり、その提案を採用して構築されたシステムのセキュリティ、稼働、運用、および統制に関する全責任は、最終的にユーザーに帰属することを理解する必要があります。


第2章:各領域における責任分解(セキュリティ、知財、プライバシー)

セキュリティ、知的財産、データ保護の各領域においては、提供側による「システム的防御」と、ユーザー側による「人的・プロセス的防御」を明確に切り分ける必要があります。

セキュリティ面では、提供側が既知の脆弱性をブロックするフィルタリングを実装しますが、ユーザーは提案されたコードの最終的な妥当性判断、テストの実施、および外部ツールを用いたスキャンの義務を負うことになります。

知的財産の観点では、提供側は提案の所有権を主張せず、一定の条件下で免責を提供しますが、ユーザーは自社のリスク許容度に応じたフィルター設定を行い、プロジェクトでの利用可否を最終判断しなければなりません。

データ保護についても同様であり、提供側が契約や設計面でのサポートを行う一方で、実データへのアクセス制御や検証はユーザーの管轄下で行われます。

第3章:自律型エージェントにおける特有のリスクと必須統制

外部データと連携するカスタムエージェントの運用においては、アクセス権限やトークン管理はユーザーの管理責任となります。

自律的なタスク実行の精度を維持し、不正確な修正(ハルシネーション)を抑制するためには、ユーザー側での「明確なプロンプト設計」と、大きなタスクを段階的に分解して生成の粒度をコントロールする「タスク分割」の技術が求められます。

AIによる自動的な修正提案が一般化したとしても、不具合の混入を阻止する「最後の砦」は依然として人間によるコードレビューです。

開発者による最終的なマージ判断が、システムの品質を担保するための重要なゲートとして機能します。


第4章:生成AIの価値を最大化するための統制アクション

生成AIの真の価値を引き出し、開発効率を最大化するためには、開発者一人ひとりが「最終的な責任は人間にある」という意識を持つ文化の醸成が不可欠です。

具体的なアクションとしては、サードパーティコードと同等のセーフガードを適用する「ガイドラインの策定」、静的解析ツール等とAIを組み合わせる「ツールチェーンの統合」、そしてAIをペアプログラミングのパートナーとして捉えつつ、その出力を批判的に検証する能力の向上が挙げられます。

これらを通じて、人間とAIの適切な役割分担を確立することが可能となります。


おわりに

今回の考察を通じて、AIコーディングアシスタントという強力なツールを使いこなすためには、単なる操作技術以上に、責任分解の構造を正しく理解し、ガバナンスを機能させる力が不可欠であることを感じました。

AIが「副操縦士」として自律性を高めるほど、それを評価し、統合する人間の「操縦士」としての資質が問われることになると考えます。

私自身、生成されるコードの背後にあるリスクを的確に見極め、安全かつ効果的に技術を社会へ還元できるよう、今後も継続的な知識のアップデートと実践的なスキルの研鑽に努めていきたいと思います。



経済産業省「第7回 サプライチェーン強化に向けたセキュリティ対策評価制度に関するSWG」を読み解く:信頼の可視化と普及に向けた具体的道筋

今回は、2026年3月4日に開催された「第7回 サプライチェーン強化に向けたセキュリティ対策評価制度に関するサブワーキンググループ(SWG)」の議論内容を整理し、自身の学びとしてまとめました。

このサブワーキンググループでは、昨今のサイバー攻撃の巧妙化を踏まえ、企業間取引におけるセキュリティ対策の信頼性をいかに担保し、サプライチェーン全体を強化するかという、わが国の産業競争力に直結する制度設計が検討されています。

www.meti.go.jp

資料1:制度構築の進捗と民間からの提言

本会合の議事次第(資料1)を確認すると、主な論点は、実施されたパブリックコメントの反映結果に基づく制度構築方針の確定と、社会実装を加速させるための民間企業からの情報提供です。特に、制度を単なる机上の空論に留めず、実務レベルでの運用性を高めるための具体的な議論が行われました。

資料3・別添2:パブリックコメントへの対応と制度の精緻化

「制度構築方針(案)」等に対して実施されたパブリックコメントには、合計569件もの多岐にわたる意見が寄せられました。これを受け、事務局は制度の対象範囲の再定義や、セキュリティ専門家・評価機関の要件への資格追加など、実効性を高める修正を行っています。また、多要素認証の実装要件や再委託先管理の責任分界など、現場が直面する具体的な課題についても、考え方が整理されました。

資料4:SCS評価制度の全体像と段階別評価の仕組み

本制度の核となる制度構築方針(案)(資料4)では、独立行政法人情報処理推進機構(IPA)をスキームオーナーとし、IT基盤を対象とした段階別評価を導入することが示されています。基礎的な「★3」から、第三者評価を伴う「★4」、そして到達点としての「★5」へとステップアップする構造です。これにより、取引先への対策実施を促し、サプライチェーン全体でのセキュリティ水準の底上げを目指しています。

資料5:テクノロジーによる評価の自動化と効率化

普及の鍵を握る中小企業の負担軽減策として、SecureNavi株式会社より、AI等を活用したオールインワンサービス「StarQuest」の提案がありました。アセスメントシート作成の半自動化や、継続的な監査の実現に向けたツール提供により、評価プロセスの効率化と、評価サービスの供給量確保を両立させるアプローチが示されました。

資料6:金融エコシステムを活用した普及・定着戦略

株式会社NTTデータからは、地域金融機関をフロントとした普及シナリオが提示されました。信頼ある既存チャネルを通じて制度を周知し、セキュリティ対策状況を「事業性融資の与信モデル」へ組み込むなど、企業にとって中長期的なインセンティブが働く仕組みの構築が検討されています。これは、セキュリティを単なるコストではなく、企業の信用力として捉える試みと言えます。

おわりに

今回、サプライチェーン強化に向けた制度設計の資料を読み込み、セキュリティ対策が単なるITの課題ではなく、わが国の産業基盤を支える信頼のインフラとして再定義されようとしている過程を深く理解することができました。

特に印象的だったのは、「信頼の可視化と経済的インセンティブの融合」という考え方です。公的な評価制度を軸にしつつ、民間のテクノロジーによる効率化や、金融機関を通じた与信への反映など、多角的なアプローチで社会実装を図ろうとする動きは、非常に合理的かつ画期的だと感じました。また、膨大なパブリックコメントへの対応を通じて制度が研ぎ澄まされていく様子を学び、一過性の施策ではなく、持続可能な制度を目指す強い意志を感じ取ることができました。

高度化するサイバー脅威に対し、一企業だけでなくサプライチェーン全体で立ち向かうためのこの取り組みは、これからのデジタル社会において必須のピースです。私自身も、技術面だけでなく、こうした社会制度や経済的枠組みの視点を持つことで、セキュリティの重要性をより多層的に捉えられるようになり、大きな学びを得ることができました。

総務省・経済産業省「AI事業者ガイドラインの令和7年度更新内容(案)」を読み解く:AIエージェント・フィジカルAI時代の新たな指針

今回は、2026年2月16日に開催された第29回 AIガバナンス検討会において、総務省および経済産業省から公開された「AI事業者ガイドラインの令和7年度更新内容(案)」について内容を整理し、自身の学びとしてまとめました。

www.soumu.go.jp

AI事業者ガイドライン更新の背景

近年、AIエージェントやフィジカルAIといった技術の発展と社会への浸透に伴い、AIリスクが顕在化する事例が増加しています。

これに伴い、社会変容などの新たに考慮すべきリスクが浮上している現状があります。

こうした状況を踏まえ、各プレイヤーが具体的に対処すべきリスクや留意事項を明示し、事業者が実効的なリスク対策を検討できる環境を整えることが求められています。

また、現実の社会影響を反映した主体区分の見直しや、多義的な用語の整理、さらには地方自治体や小規模事業者といったライトユーザーの活用を見据えたバランスの調整も、今回の更新における重要な背景とされています。

令和7年度の更新の論点と方針

検討会では、構成員や事業者アンケートの結果に基づき、主に7つの論点と更新方針が整理されました。

まず、AIエージェントやフィジカルAIに関する定義やリスクの追加といった「AI技術の動向の反映」が挙げられます。

これに関連し、リスクベースアプローチの追記や分類の見直しを行うことで、リスクの記載をより実態に即したものへと改善する方針とされています。

さらに、AI開発者の定義補足や役割の明確化を図る「主体区分の整理」、「学習」「推論」「データ」といった多義的な用語の再定義も実施されます。

ユーザビリティの面では、活用ガイドの作成やチャットボットの導入が検討されており、国内外の最新動向や事業者の取組事例を反映することで、より実践的なガイドラインが目指されています。

具体的な更新内容(案)の詳解

各論点に基づいた具体的な更新内容として、特に注目されるのが「AIエージェント」と「フィジカルAI」の定義導入です。

特定の目標達成のために自律的に行動するAIエージェントや、物理環境に直接働きかけるフィジカルAIについて、労働力不足の補完といった便益とともに、誤動作やプライバシー侵害などのリスク、および人間の判断を必須とする仕組み(Human-in-the-loop)などの留意事項が追加されることになります。

また、リスク対策の優先順位を決定する「リスクベースアプローチ」の考え方が強調されています。

ハルシネーションのポジティブリスクや、教育領域における思考力発展の阻害、RAG(検索拡張生成)活用時のプライバシーリスクなど、最新の技術動向に即したリスクが盛り込まれました。

主体区分の整理においては、アライメントやRAGなど役割が不明確になりやすい箇所の説明が追加され、開発者と利用者の責任分界がより明確化されます。

また、用語の定義についても、機械学習か文脈内学習かの区別を明確にするなど、実務上の混乱を防ぐための配慮がなされています。加えて、令和7年度末を目途に、ライトユーザー向けの「活用ガイド」や必要な情報へアクセスするためのチャットボットのリリースが予定されており、アクセシビリティの向上も図られています。

おわりに

今回のガイドライン更新案を読み解くことで、急速に進化するAI技術に対して、どのようにガバナンスを適合させていくべきかという、動的なリスク管理の重要性を改めて学ぶことができました。

特にAIエージェントの自律性やフィジカルAIの実社会への干渉といった新しい概念を整理することは、自身の技術的理解を深めるだけでなく、今後のリスクアセスメントの在り方を考える上で非常に有益な知見となりました。

今後もこうした公的な指針を継続的にフォローし、自身の専門性を高めていきたいと思います。



スペインデータ保護庁(AEPD)「エージェント型人工知能:データ保護の観点からの指針」を読み解く:自律型AI導入におけるガバナンスと設計によるデータ保護

今回は、2026年2月にスペインデータ保護庁(AEPD)から公開された「エージェント型人工知能:データ保護の観点からの指針」の内容を整理し、自身の学びとしてまとめました。
本資料は、言語モデルを活用して自律的に目的を達成する「エージェント型AI」が個人データの処理に導入される際、管理者や処理者が管理すべき特有の課題に焦点を当てたものです。

www.aepd.es

エージェント型AIの導入において、無批判な受け入れや非合理な拒絶はどちらも避けるべきであり、設計によるデータ保護(PbD)プライバシー強化技術(PET)としての機会を積極的に活用することが重要視されています。

AIエージェントの定義と処理のパラダイムシフト

従来のタスク自動化は反復的な作業が中心でしたが、AIエージェントの登場により、目標達成のために自律的に行動するパラダイムシフトが起きています。

AIエージェントは言語モデル(LLM)を利用し、環境に応じて柔軟に行動し、経験から学習して適切な意思決定を行うシステムと定義されます。

複雑なタスクをサブタスクに分解し、推論チェーン(推理の連鎖)を構築して実行する点が特徴です。

また、複数のエージェントが協力・交渉を行うマルチエージェント・アーキテクチャの活用も進んでいます。

これにより、処理の性質、範囲、文脈、目的が変化し、固有のリスクも変容するため、既存の処理に導入する際もコンプライアンスの再検討が必要となります。

エージェント型AI特有の脆弱性とリスク

エージェント型AIの複雑さと多用途性は、データ保護上の新たな脆弱性をもたらします。

特に環境との相互作用において、組織内データへのアクセスや外部ツール呼び出しによるデータ流出のリスクが懸念されます。

また、作業用メモリ(短期・長期)と管理用メモリ(ログ)の管理においては、データの関連性や保存期間の整合性が課題となります。

自律性の面では、人間の介在なしに判断を下すことによる透明性の欠如や、自動化バイアスによる無批判な受け入れ、挙動の非再現性が問題視されています。

さらに、ユーザーに代わって資格情報(クレデンシャル)を利用し、過剰な権限を行使する「代理行動」に伴うリスクへの注視も欠かせません。

データ保護規制遵守に向けた実務的要件

管理者は、エージェント型AIを利用した処理において、責任の所在を明確にする義務があります。

第三者サービスを利用する場合は役割を特定し、データフローを文書化する必要があります。

透明性の確保においては、データの新たな受信者や自動化された意思決定の存在、国際転送について本人に適切に通知しなければなりません。

特に注目すべきは「2のルール(Rule of 2)」です。

これは「制御不能な情報の自動処理」「機密情報へのアクセス」「自動的なアクションの実行」のうち、3つが揃う構成は許容できないリスクと見なす考え方です。

これに基づき、設計段階から最小限のデータのみを扱うよう構成し、処理活動記録(RAT)を常に更新することが求められます。

想定される脅威と実装すべき対策

脅威は、許可された処理におけるガバナンス欠如から、許可されていないプロンプトインジェクションやメモリ汚染まで多岐にわたります。

これらに対抗するため、技術的および組織的な対策を統合的に講じる必要があります。

ガバナンスと設計の制御: 「失敗の可能性を許容する設計(Fail-safe)」を採用し、データ保護責任者(DPO)を設計初期段階から関与させることが不可欠です。

技術的には、アイデンティティと権限の管理(最小権限の原則)、サンドボックスの利用、過剰な動作を抑制するサーキットブレーカーの導入などが有効な手段となります。

データの最小化とメモリ制御: データリネージ(系譜)の追跡を行い、メモリの区分け(コンパートメント化)やサニタイズを厳格に実施します。

また、ゴールデンテストによる再現性の確認や、継続的な評価メトリクスの設定を通じて、システムの安全性を担保し続ける体制を構築します。

おわりに

今回のAEPDによる指針の分析を通じて、エージェント型AIが単なるツールの進化に留まらず、データ保護の在り方そのものを再定義するものであることを学びました。

特に「2のルール(Rule of 2)」のような具体的なリスク判断基準や、Fail-safe設計の重要性は、今後のAIガバナンスを検討する上で極めて重要な知見となります。

自律型システムの実装においては、技術的な可能性を追求するだけでなく、設計によるデータ保護を初期段階から統合する姿勢が、組織のレジリエンスを高める鍵となります。

私自身も、こうした最新の国際的な指針を深く理解し、証拠に基づいた理性的な意思決定に寄与できるよう、継続的に専門性を高めていく必要があると強く実感しました。

これからも、自身の知見をアップデートし、世の中に貢献できるような活動を続けていきたいと考えています。



経済産業省「第1回 AIロボティクス戦略検討会議」を読み解く:日本のロボット産業再興とAI融合への道筋

今回は2026年1月21日に開催された経済産業省「第1回 AIロボティクス戦略検討会議」の資料の内容を整理し、自身の学びとしてまとめました。
かつて世界ロボット市場を牽引した日本が、近年のAIの飛躍的発展を受け、いかにして次世代の産業競争力を構築しようとしているのかが見えてきました。

www.meti.go.jp

AI ロボティクス戦略検討会議の設置背景と目的

我が国のロボット産業は、これまで産業用ロボットを中心に高い世界シェアを維持してきましたが、近年は海外メーカーの台頭によりその地位が相対的に低下しています。
特に、急成長を遂げているサービスロボット分野においては、米欧中に対して後塵を拝しているのが実情です。
一方で深刻化する人口減少と人手不足という構造的な課題を克服するためには、全産業でのDX推進と、ロボットによる抜本的なイノベーションが不可欠となっています。

しかし、建築や医療・介護、小売、物流といった現場では、依然としてロボットが使い手の細かなニーズに応えきれていないという課題が存在します。
近年のAI技術、とりわけ自律性を高める技術の進展により、誰もが直感的に扱えるAIロボティクスの実現が現実味を帯びてきました。

この検討会議では、開発促進と社会実装を一体的に進める「AIロボティクス戦略案」を策定することが目的とされており、2026年3月までに実装ロードマップの取りまとめが目指されています。

AIロボティクス戦略検討会議 議事の運営について

この検討会議の運営については、透明性と実効性のバランスを重視した体制が取られています。

会議自体は原則として非公開とされていますが、これは委員が自由闊達かつ率直な意見交換を行うための配慮と言えます。

一方で、議事要旨や配布資料については原則として公開される仕組みとなっており、政策決定のプロセスを外部からも追えるようになっています。

座長および事務局の判断により一部非公開となるケースも想定されていますが、原則公開の姿勢は、広く国民や産業界の関心を喚起する上で重要な意味を持つと考えられます。

第1回事務局資料:ロボット産業の「潮目の変化」と戦略の方向性

事務局資料からは、ロボット産業を巡る劇的な「潮目の変化」を読み取ることができます。

特に注目すべきは、2030年頃を境にヒューマノイドを中心とする多用途ロボット市場が急拡大し、2040年には約60兆円規模に達するという予測です。

米中では自動車メーカーや半導体大手が1兆円越えの巨額の投資を行い、開発競争が極めて激化するなか、日本でのスタートアップの資金調達動向は最大数百億円程度にとどまっています。

技術面では、大量のデータをAIに学習させることで汎用性が飛躍的に向上し、EV化の進展に伴う部品価格の下落がこの動きを後押ししています。
従来のロボットは柔軟性に欠け、多様な環境判断が困難でしたが、今後は建築や小売といった「ロングテール市場」への対応が期待されています。
政府はハードとソフトの分離や、オープンなデータ基盤の構築を掲げており、多様な主体の参入を促す方針となっています。

戦略策定に向けた主な論点は、サプライチェーンの再構築、国産汎用基盤モデルの開発、分野別の実装ロードマップ策定、そして国内外の英知を結集するCenter of Excellence(CoE)の整備の4点があげられています。
10年先を見据えた実装ロードマップが毎年更新されるという計画となっています。

おわりに

今回、AIロボティクス戦略検討会議の第1回資料を読み解くことで、日本が再びロボティクスの覇権を握るための具体的な戦略が見えてきました。
ハードウェアの強みを活かしつつ、いかに高度なAIを融合させ、社会の隅々にまで実装していくのか。
この戦略は、単なる産業政策にとどまらず、私たちの未来の生活を根本から変える可能性を秘めています。

私自身、この記事を通じて最新の政策動向と技術の融合点を整理できたことは、大きな成長に繋がったと感じています。
これからも、こうした国家規模の戦略から学びを得ることで、自身の知見をアップデートし、世の中に貢献できるような活動を続けていきたいと考えています。



OWASP「OWASP AI security threats and controls navigator」を読み解く:体系的理解に基づく管理策の整理

今回は、AIシステム特有の脅威とその対策を体系化した「OWASP AI security threats and controls navigator」の内容を整理し、自身の学びとしてまとめました。

原文:OWASP AI security threats and controls navigator

1. ガバナンス (Governance)

このセクションでは、すべての脅威に対する一般的な管理策(General controls against all threats)が定義されています。

主な目的は、モデルの振る舞いにおける整合性の問題への対処(Deal with behaviour integrity issues)と、機密データの制限(Sensitive data limitation)にあります。

組織的なプログラム(AIPROGRAM, SECPROGRAM等)の策定をはじめ、教育(SECEDUCATE)、透明性(AITRANSPARENCY)の確保、さらにはデータの最小化(DATAMINIMIZE)や保持制限といったデータ管理に関する制御が含まれます。

これらを通じて、モデルIPや学習データの機密性、モデルの可用性、そして振る舞いの整合性を多角的に保護する仕組みとなっています。

2. 実行時の使用に対する制御 (Controls against threats through runtime use)

こちらのセクションでは、AIモデルが稼働している際の使用(ランタイム・ユース)を通じて発生する脅威への対策です。

まず、常に適用すべき管理策として、使用状況の監視(MONITORUSE)、レート制限(RATELIMIT)、モデルへのアクセス制御(MODELACCESSCONTROL)が挙げられています。

これらを基盤とした上で、以下の各リスクに対処します。

回避攻撃への対策(Against evasion):異常入力や敵対的入力の検知(DETECTODD/ADVERSARIALINPUT)、堅牢なモデルの採用、敵対的学習が含まれます。
データ漏洩への対策(Against data disclosure by use):モデル出力のフィルタリングや、モデル反転・メンバーシップ推論攻撃への対策を通じ、学習・テストデータやモデルIPの機密性を守ります。
モデル盗用への対策(Against model theft by use):確信度の隠蔽(OBSCURECONFIDENCE)やスモールモデルの活用による対策が講じられます。
使用による障害への対策(Against failure by use):DoS攻撃用の入力検証やリソース制限により、システムの可用性を維持します。

3. 開発時の脅威に対する制御 (Controls against development-time threats)

モデルの開発フェーズにおける脅威に対処するための領域です。常に適用すべき管理策として、開発データの保護(DEVDATAPROTECT)、開発環境のセキュリティ、サプライチェーン管理(SUPPLYCHAINMANAGE)、機密コンピューティングなどが定義されています。

具体的な攻撃への備えとしては、データポイズニングや開発時のモデル汚染、転移学習攻撃といった「広範なモデル汚染(Against broad model poisoning)」に対し、データ品質管理やモデルアンサンブル等で振る舞いの整合性を保護します。
また、学習・テストデータ、モデル、ソースコードや設定情報の漏洩を防ぐことで、開発プロセス全体における機密性を確保します。

4. ランタイム・アプリケーション・セキュリティ脅威 (Runtime application security threats)

このセクションでは、主にインジェクションを通じたCIAリスク(CIA risks through injection)に焦点が当てられています。

AI固有ではない一般的な脅威に対しては、従来の技術的なアプリケーションセキュリティ管理策や運用セキュリティを適用します。

その上で、不安全な出力取り扱いへの対策としてモデル出力のエンコード(ENCODEMODELOUTPUT)を実施し、直接的および間接的なプロンプト・インジェクションに対しては、入力検証(PROMPTINPUTVALIDATION)や入力の分離(INPUTSEGREGATION)を講じることで、モデルの整合性と機密性を維持します。また、入力データそのものの漏洩を防止する対策もここに含まれます。

おわりに

今回の整理を通じて、AIセキュリティという新しい領域においても、その土台には強固なガバナンスとサプライチェーン管理、そしてCIAの三原則に基づいた管理策が不可欠であることを学びました。
特に、従来のアプリケーションセキュリティの知見に、プロンプト・インジェクションやモデル汚染といった固有の概念をいかに統合して考えるべきか、その具体的な構成を理解することができました。

これまで学んできたサプライチェーン強化の視点に加え、AI特有のランタイム・リスクを体系的に把握できたことは、自身のセキュリティに関する知識をより多層的なものにする大きなステップとなりました。今後も技術の進展に合わせ、これらの管理策の実践的な適用方法について学びを深めてまいります。



OWASP「OWASP AI Exchange」を読み解く:AIシステムの安全な導入とガバナンスの指針

今回は、AIセキュリティとプライバシーに関する包括的なリソースである「OWASP AI Exchange」の内容を整理し、自身の学びとしてまとめました。
AIシステムの導入が加速する中で、その安全性をいかに確保すべきかとう課題について一つの指針となっています。

owaspai.org

1. AIセキュリティの概要とOWASP AI Exchange

OWASP AI Exchangeは、AIおよびデータ中心システムのセキュリティに関する議論をオープンソース化したグローバルなリソースです。
ISO/IEC 27090やEU AI法などの国際標準とも連携しており、分析的AIから生成AI、さらにはルールベースのヒューリスティックシステムまで、あらゆるAIを保護対象としています。
また、本リソースは「生きた出版物」として、専門家コミュニティの手で常に最新の脅威情報へと更新されています。

2. 組織的なAIセキュリティの構築 (G.U.A.R.D.)

組織が体系的にAIセキュリティを導入するためのフレームワークとして「G.U.A.R.D」が提唱されています。
まず「Govern(ガバナンス)」として責任体制やポリシーを整備し、「Understand(理解)」を通じて関係者がAI特有の脅威を把握することが求められます。
その上で、既存のセキュリティ慣行をAI向けに「Adapt(適応)」させ、敏感なデータの最小化等によってリスクを「Reduce(削減)」します。
最後に、透明性の確保により安全性を「Demonstrate(実証)」するという5つのステップが重要とされています。

3. 脅威モデル:資産の定義とライフサイクル別の分類

AIセキュリティは、既存のセキュリティプログラムの拡張として捉えるべきとされ、モデルパラメータなどのAI固有の資産(AI-specific assets)に対する脅威に焦点を当てられています。
また、AIシステムもITシステムの一種であるため、AI固有の資産と従来の資産の両面から保護を検討する必要があります。

資料では、ライフサイクルに応じて脅威を以下の3つに区分しています。

第一に、データの取得・準備やモデルトレーニングの段階で発生する「開発時の脅威」があり、データポイズニングなどが代表例です。

第二に、入力を提供して出力を得るプロセスで発生する「使用を通じた脅威」であり、プロンプトインジェクションや回避攻撃が該当します。

最後に、推論プロセス以外での運用中に発生する「実行時のその他の脅威」として、モデル入力の窃取などが挙げられます。

4. 攻撃者の目標とエージェント型AI特有の懸念

攻撃者の目標は「開示(disclose)」「欺瞞(deceive)」「中断(disrupt)」の3点に集約されています。

これらは学習データの機密性、モデルの知的財産、動作の完全性、および可用性に関連する影響を及ぼします。

例えば、メンバーシップ推論攻撃のように、モデル出力からトレーニングデータの特定個人を特定するようなAI特有の手法も存在します。

特に自律的に動作する「エージェント型AI」においては、関数呼び出し等の実行能力を持つため、「最小限のモデル権限」の徹底が極めて重要とされています。
エージェント同士が相互作用する際の「作業メモリ」が攻撃ベクトルとなり、ハルシネーションやプロンプトインジェクションを通じて権限が昇格されるリスクが指摘されています。
中でも、機密データへのアクセス権と外部への送信能力が組み合わさる「致命的な3要素(lethal trifecta)*1」には厳重な警戒を求めています。


5. 制御策の実装と組織的な脅威モデリング

制御策には、データやモデルのエンジニアリングによる「AIエンジニア制御」と、入出力をフィルタリングする「モデルI/Oハンドリング」があげられています。
組織としてこれらを実装する際は、既存の脅威モデリング手法を適応させ、エンジニアを含めたチーム横断的な取り組みを行うことが推奨されています。
リスク分析においては、ISO 31000に基づきつつ、不満を持つ従業員や競合他社といった阻害要因を考慮し、自社にとって現実的な脅威を評価することが肝要とされています。

おわりに

今回の調査を通じて、AIセキュリティが単なる従来のITセキュリティの延長ではなく、モデルパラメータや学習データといった「AI固有の資産」を保護するための独自の視点が必要であることを再認識しました。
特に、エージェント型AIにおける「致命的な3要素」のような、権限管理と入出力制御の不備が直結するリスクの重大さを認識したことは、今後のシステム設計において大きな学びとなりました。

既存の脅威モデリングの手法をAIの特性に合わせて拡張し、開発から運用までのライフサイクル全体を鳥瞰する視点を得たことで、セキュリティ技術者としてのリスク評価スキルが向上したと感じています。
この知見を活かし、変化し続けるAIの脅威に対して、より強固なガバナンスと技術的制御の両面からアプローチできるよう、今後も自己研鑽を積んでまいります。



*1:※2026.01.18追記 
Agentic AIと「致命的な3要素(lethal trifecta)」
AIエージェントに権限を与える場合、以下の3条件が揃うと壊滅的リスクとなります。
 1. Data: 攻撃者が制御可能なデータ(外部Web等)がプロンプトに混入する。
 2. Access: AIが機密データやシステムへのアクセス権を持つ。
 3. Send: AIが外部へデータを送信(メール送信、APIコール等)できる。
これらを遮断するため、最小モデル権限の徹底が重要です




以上の内容はhttps://oregin-ai.hatenablog.com/より取得しました。
このページはhttp://font.textar.tv/のウェブフォントを使用してます

不具合報告/要望等はこちらへお願いします。
モバイルやる夫Viewer Ver0.14