PIAを実施するに当たり、リスク評価がしばしば問題となりますが、DPIAガイドライン、AI法5条の禁止行為、AI法6条2項のハイリスクAIは、一つの視点として参考になると思うので、仮訳を掲載します。
GDPRでDPIAを実施すべきハイリスク処理の例
- 評価又はスコアリング(プロファイリング及び予測を含む)、特に「データサブジェクトの職場でのパフォーマンス、経済状況、健康、個人的嗜好又は興味、信頼性又は行動、位置又は移動に関する側面」に基づく場合(リサイタル71及び91)。この例には、顧客を信用照会データベース又はマネーロンダリング防止・テロ資金供与対策(AML/CTF)又は詐欺データベースに対してスクリーニングする金融機関、又は疾病/健康リスクを評価し予測するために消費者に直接遺伝子検査を提供するバイオテクノロジー企業、又はウェブサイトでの使用又はナビゲーションに基づいて行動又はマーケティングプロファイルを構築する企業が含まれうる。
- 法的又は類似の重大な効果を伴う自動意思決定:「自然人に関する法的効果を生じさせる」又は「同様に自然人に重大な影響を及ぼす」決定を行うことを目的とした処理(第35条(3)(a))、例えば、処理が個人の排除又は差別につながりうる場合。個人にほとんど又は全く影響を及ぼさない処理は、この特定の基準に該当しない。これらの概念に関する更なる説明は、プロファイリングに関する今後のWP29ガイドラインで提供される。
- 体系的な監視:データサブジェクトを観察、監視又は制御するために使用される処理(ネットワークを通じて収集されたデータ又は「公共のアクセス可能な領域の体系的な監視」(第35条(3)(c))を含む)。この種の監視においては、データサブジェクトが誰が自分のデータを収集しているか、どのように使用されるかを認識していないかもしれない状況で個人データが収集されるかもしれず、また、公共の(又は公共にアクセス可能な)空間において、個人がそのような処理の対象となることを回避することは不可能であるかもしれないため、基準となる。
- センシティブデータ又は高度に個人的な性質のデータ:これには、第9条で定義されている特別な種類の個人データ(例えば、個人の政治的意見に関する情報)、並びに第10条で定義されている犯罪有罪判決又は犯罪に関する個人データが含まれる。例としては、患者の医療記録を保管する総合病院又は犯罪者の詳細を保管する私立探偵が挙げられる。GDPRのこれらの規定を超えて、一部のカテゴリーのデータは、個人の権利及び自由に対するリスクを増加させるものとして考慮しうる。これらの個人データは、家庭及び私的活動に関連している(例えば、機密性が保護されるべき電子通信)、又は基本的権利の行使に影響を与える(例えば、移動の自由を脅かす位置データ)、又はそれらの侵害がデータサブジェクトの日常生活に明らかに深刻な影響を及ぼす(例えば、支払詐欺に使用されるかもしれない金融データ)ため、(一般的に理解されているような意味で)センシティブであると考えられる。この点において、個人データが既にデータサブジェクト又は第三者によって公開されているかどうかが関連しうる。個人データが公開されているという事実は、データが特定の目的のために更に使用されることが予測されていた場合、評価における要素として考慮されうる。この基準には、個人文書、電子メール、日記、電子書籍リーダーのメモ取り機能からのメモ、及びライフロギングアプリケーションに含まれる非常に個人的な情報などのデータも含まれうる。
- 大規模に処理されるデータ: GDPRは大規模が何を構成するかを定義していないが、リサイタル91は何らかのガイダンスを提供している。いずれにせよ、WP29は、処理が大規模に実施されているかどうかを判断する際に、特に以下の要因を考慮することを推奨する:
- a. 関係するデータサブジェクトの数(特定の数として、又は関連する人口の割合として)
- b. 処理されるデータの量及び/又は処理される異なるデータ項目の範囲
- c. データ処理活動の期間又は永続性
- d. 処理活動の地理的範囲
- データセットのマッチング又は結合、例えば、異なる目的及び/又は異なるデータコントローラーによって実施された2つ以上のデータ処理業務からデータサブジェクトの合理的な予測を超える方法で発生する場合。
- 脆弱なデータサブジェクトに関するデータ(リサイタル75):この種のデータの処理は、データサブジェクトとデータコントローラーとの間の力の不均衡が増大しているため、基準となる。これは、個人が自分のデータの処理に容易に同意したり反対したり、又は自分の権利を行使できないかもしれないことを意味する。脆弱なデータサブジェクトには、子供(知識を持って熟慮して自分のデータの処理に反対又は同意できないと考えられる可能性がある)、従業員、より脆弱な人口セグメント(精神障害者、亡命希望者、又は高齢者、患者など)、及びデータサブジェクトの立場とコントローラーの立場との間の不均衡が識別できる任意の場合が含まれうる。
- 革新的な使用又は新しい技術的又は組織的ソリューションの適用、例えば、物理的アクセス制御の改善のために指紋認識と顔認識の使用を組み合わせる場合。GDPRは(第35条(1)及びリサイタル89及び91)、「技術的知識の達成された状態に従って」定義される新しい技術の使用が、DPIAを実施する必要性を引き起こす可能性があることを明確にしている(リサイタル91)。これは、そのような技術の使用が、高いリスクを伴う新しい形式のデータ収集及び使用を含みうるからである。実際、新しい技術の展開の個人的及び社会的結果は未知であるかもしれない。DPIAは、コントローラーがそのようなリスクを理解し処理するのに役立つ。例えば、特定のIoTアプリケーションは、個人の日常生活とプライバシーに重大な影響を与える可能性があり、したがってDPIAを必要とする。
- 処理自体が「データサブジェクトが権利を行使すること又はサービス若しくは契約を使用することを妨げる」場合(第22条及びリサイタル91)。これには、データサブジェクトのサービスへのアクセス又は契約への参加を許可、変更又は拒否することを目的とした処理業務が含まれる。この例としては、銀行が顧客に融資を提供するかどうかを決定するために信用照会データベースに対して顧客をスクリーニングする場合がある。
AI法5条の禁止行為の一覧
- (a) 人の意識を超えたサブリミナル技術、または意図的に操作的もしくは欺瞞的な技術を展開するAIシステムの市場への上市、サービス提供または使用であって、情報に基づく決定を行う能力を著しく損なうことにより人または人の集団の行動を実質的に歪曲することを目的とするまたはその効果を有し、それによって当該人、他の人または人の集団に重大な害を引き起こすまたは引き起こす合理的可能性がある方法で、そうでなければ行わなかったであろう決定を行わせるもの。
- (b) 年齢、障害または特定の社会的もしくは経済的状況に起因する自然人または特定の人の集団の脆弱性のいずれかを利用するAIシステムの市場への上市、サービス提供または使用であって、当該人または当該集団に属する人の行動を、当該人または他の人に重大な害を引き起こすまたは引き起こす合理的可能性がある方法で実質的に歪曲することを目的とするまたはその効果を有するもの。
- (c) 一定期間にわたる自然人または人の集団の社会的行動、または既知の、推論された、もしくは予測された個人的特性もしくは性格的特性に基づく、自然人または人の集団の評価または分類のためのAIシステムの市場への上市、サービス提供または使用であって、社会的スコアが以下のいずれかまたは両方をもたらすもの。
- (i) データが元々生成または収集された文脈とは無関係な社会的文脈における特定の自然人または人の集団に対する有害または不利な取扱い。
- (ii) 特定の自然人または人の集団に対する、その社会的行動またはその重大性に対して正当化されないまたは不釣り合いな有害または不利な取扱い。
- (d) 自然人のプロファイリングのみに基づいて、またはその性格的特性および特徴を評価することに基づいて、自然人が犯罪を犯すリスクを評価または予測するために、自然人のリスク評価を行うためのAIシステムの市場への上市、この特定目的のためのサービス提供または使用。この禁止は、犯罪活動に直接関連する客観的かつ検証可能な事実にすでに基づいている、犯罪活動への人の関与についての人間による評価を支援するために使用されるAIシステムには適用されない。
- (e) インターネットまたはCCTV映像からの顔画像の無差別スクレイピングを通じて顔認識データベースを作成または拡大するAIシステムの市場への上市、この特定目的のためのサービス提供または使用。
- (f) 職場および教育機関の領域において自然人の感情を推論するためのAIシステムの市場への上市、この特定目的のためのサービス提供または使用。ただし、AIシステムの使用が医療上または安全上の理由で導入されるまたは市場に出されることを意図している場合を除く。
- (g) バイオメトリクスデータに基づいて自然人を個別に分類し、その人種、政治的意見、労働組合員資格、宗教的もしくは哲学的信念、性生活または性的指向を推定または推論するバイオメトリクス分類システムの市場への上市、この特定目的のためのサービス提供または使用。この禁止は、画像などの合法的に取得されたバイオメトリクスデータセットのバイオメトリクスデータに基づくラベリングもしくはフィルタリング、または法執行の領域におけるバイオメトリクスデータの分類を対象としない。
- (h) 法執行目的のための公共アクセス可能空間における「リアルタイム」遠隔バイオメトリクス識別システムの使用。ただし、そのような使用が以下の目的の1つに厳格に必要である場合に限り、かつその限りにおいて。
- (i) 誘拐、人身取引または人間の性的搾取の特定の被害者の標的型捜索、ならびに行方不明者の捜索。
- (ii) 自然人の生命または身体の安全に対する特定の、実質的かつ差し迫った脅威、またはテロ攻撃の真正かつ現在の、もしくは真正かつ予見可能な脅威の防止。
- (iii) 附属書IIで言及される犯罪であって、関係する加盟国において少なくとも4年の最長期間の拘禁刑または拘留命令により処罰可能な犯罪について、刑事捜査もしくは訴追を実施するため、または刑罰を執行するために、犯罪を犯した疑いのある人の位置特定または識別。
AI法6条2項のハイリスクAIの一覧
- バイオメトリクス(関連する連合法または国内法で使用が許可される場合に限る)
- (a) 遠隔バイオメトリクス識別システム。
- これには、特定の自然人が本人であることを確認することのみを目的とするバイオメトリクス検証に使用されることを意図したAIシステムは含まれない。
- (b) センシティブまたは保護された属性または特性に基づき、それらの属性または特性の推論に基づいて、バイオメトリクス分類に使用されることを意図したAIシステム。
- (c) 感情認識に使用されることを意図したAIシステム。
- 重要インフラ
- 重要なデジタルインフラ、道路交通、または水、ガス、暖房もしくは電気の供給の管理および運用において安全構成要素として使用されることを意図したAIシステム。
- 教育および職業訓練
- (a) すべてのレベルの教育および職業訓練機関へのアクセスもしくは入学を決定するため、または自然人を割り当てるために使用されることを意図したAIシステム。
- (b) 学習成果を評価するために使用されることを意図したAIシステム。これには、それらの成果がすべてのレベルの教育および職業訓練機関における自然人の学習プロセスを方向づけるために使用される場合を含む。
- (c) すべてのレベルの教育および職業訓練機関の文脈において、または機関内で、個人が受けるまたはアクセスできる適切な教育レベルを評価する目的で使用されることを意図したAIシステム。
- (d) すべてのレベルの教育および職業訓練機関の文脈において、または機関内で、テスト中の学生の禁止された行動を監視および検出するために使用されることを意図したAIシステム。
- 雇用、労働者管理および自営業へのアクセス
- (a) 自然人の採用または選考に使用されることを意図したAIシステム。特に、ターゲット型求人広告の掲載、求職申請の分析およびフィルタリング、および候補者の評価を行うもの。
- (b) 労働関連関係の条件、労働関連契約関係の昇進または終了に影響する決定を行うため、個人の行動または個人的特性もしくは特徴に基づいてタスクを割り当てるため、またはそのような関係における人のパフォーマンスおよび行動を監視および評価するために使用されることを意図したAIシステム。
- 必須の民間サービスおよび必須の公共サービスならびに給付へのアクセスおよび享受
- (a) 公的機関により、または公的機関に代わって、必須の公的援助給付およびサービス(医療サービスを含む)に対する自然人の適格性を評価するため、ならびにそのような給付およびサービスを付与、削減、取り消し、または取り戻すために使用されることを意図したAIシステム。
- (b) 自然人の信用力を評価するため、または信用スコアを確立するために使用されることを意図したAIシステム。ただし、金融詐欺の検出を目的として使用されるAIシステムを除く。
- (c) 生命保険および健康保険の場合における自然人に関するリスク評価および価格設定に使用されることを意図したAIシステム。
- (d) 自然人による緊急通報を評価および分類するため、または警察、消防士および医療援助を含む緊急初動対応サービスの派遣、もしくは派遣における優先順位の設定に使用されるため、ならびに緊急医療患者トリアージシステムに使用されることを意図したAIシステム。
- 法執行(関連する連合法または国内法で使用が許可される場合に限る)
- (a) 法執行機関により、もしくは法執行機関に代わって、または連合の機関、組織、事務所もしくは機関により法執行機関を支援するために、もしくは法執行機関に代わって、自然人が犯罪の被害者となるリスクを評価するために使用されることを意図したAIシステム。
- (b) 法執行機関により、もしくは法執行機関に代わって、または連合の機関、組織、事務所もしくは機関により法執行機関を支援するために、ポリグラフまたは類似のツールとして使用されることを意図したAIシステム。
- (c) 法執行機関により、もしくは法執行機関に代わって、または連合の機関、組織、事務所もしくは機関により、法執行機関を支援するために、犯罪の捜査または訴追の過程における証拠の信頼性を評価するために使用されることを意図したAIシステム。
- (d) 法執行機関により、もしくは法執行機関に代わって、または連合の機関、組織、事務所もしくは機関により法執行機関を支援するために、指令(EU)2016/680の第3条(4)で言及される自然人のプロファイリングのみに基づかずに、自然人が犯罪を犯すまたは再犯するリスクを評価するため、または自然人もしくは集団の性格的特性および特徴もしくは過去の犯罪行動を評価するために使用されることを意図したAIシステム。
- (e) 法執行機関により、もしくは法執行機関に代わって、または連合の機関、組織、事務所もしくは機関により法執行機関を支援するために、犯罪の検出、捜査または訴追の過程において、指令(EU)2016/680の第3条(4)で言及される自然人のプロファイリングに使用されることを意図したAIシステム。
- 移民、庇護および国境管理(関連する連合法または国内法で使用が許可される場合に限る)
- (a) 権限のある公的機関により、もしくは権限のある公的機関に代わって、または連合の機関、組織、事務所もしくは機関により、ポリグラフまたは類似のツールとして使用されることを意図したAIシステム。
- (b) 権限のある公的機関により、もしくは権限のある公的機関に代わって、または連合の機関、組織、事務所もしくは機関により、加盟国の領域に入ることを意図するまたは入った自然人によってもたらされるリスク(セキュリティリスク、不法移民のリスク、または健康リスクを含む)を評価するために使用されることを意図したAIシステム。
- (c) 権限のある公的機関により、もしくは権限のある公的機関に代わって、または連合の機関、組織、事務所もしくは機関により、庇護、ビザまたは居住許可の申請ならびに地位を申請する自然人の適格性に関する関連する苦情の審査のために権限のある公的機関を支援するために、関連する証拠の信頼性の評価を含めて、使用されることを意図したAIシステム。
- (d) 権限のある公的機関により、もしくは権限のある公的機関に代わって、または連合の機関、組織、事務所もしくは機関により、移民、庇護または国境管理の文脈において、旅行書類の検証を除き、自然人を検出、認識または識別する目的で使用されることを意図したAIシステム。
- 司法の運営および民主的プロセス
- (a) 司法当局により、または司法当局に代わって、事実および法律を調査および解釈し、具体的な事実に法律を適用することにおいて司法当局を支援するために、または裁判外紛争解決において同様の方法で使用されることを意図したAIシステム。
- (b) 選挙または国民投票の結果、または選挙もしくは国民投票における投票の行使における自然人の投票行動に影響を与えるために使用されることを意図したAIシステム。これには、自然人が直接アウトプットに晒されないAIシステム、例えば政治キャンペーンを行政的または物流的観点から組織化、最適化または構造化するために使用されるツールは含まれない。