最近、ネットに悪質なチャイルドポルノ画像が出回っている。規制の抜け穴をついて、生成AIにつくらせたものだ。今後、大きな問題に発展するかもしれないと南方都市報が報じた。
生成AIで猥褻画像をつくる
プロンプトに指示を入れると、それに沿った画像を生成してくれる生成AIが人気になっている。多くの人がやってみたくなるのが、猥褻な画像の生成を試みることだ。しかし、多くの生成AIでは、そのようなプロンプトを入力した時点で警告が出て生成を拒否される。
しかし、この制限を工夫で乗り越える人たちもいる。すでに、生成AIで生成したポルノ画像が販売され検挙されるという事件が起きている。
盲点になっている子どもの猥褻画像
南方都市報と南都ビッグデータ研究院は、「子どもをAIから守る」調査記事キャンペーンを実施した。そのきっかけとなったのは、生成AIは大人のポルノ画像に関してはかなり厳しく制限されているものの、子どものポルノ画像、いわゆるチャイルドポルノについては制限の盲点があり、うまく突破をして生成する方法が存在することを発見したからだ。
キャンペーンに参加した記者は、一般的なアプリストアで入手できる20種類の生成AIアプリをテストしていった。その中には、少し工夫をするだけでチャイルドポルノを生成できるものがあることがわかった。
しかも、海外にも知られる著名なある生成AIでは「未成年」「子ども」をプロンプトの基本キーワードにして、その他のキーワードを工夫すると、未成年のヌードだけでなく、奇形や妊娠をした子どもなどのアニメ風画像を生成することができた。また、これも海外にも知られる生成AIでは、同様のことが実写スタイルで可能だった。
多くのAIがプロンプトのNGワード方式
南都ビッグデータ研究院の調査によると、現在、中国のアプリストアには300種類以上の画像生成AIアプリが存在する。
しかし、その多くは、このようなポルノ画像が生成できない仕組みを採用していた。
多くは、関連するキーワードをプロンプトに入れると、それを検出して、違反であることをユーザーに伝え、それを一定回数以上繰り返すとアカウントを凍結または削除するというものだ。
Sora、魂夢AI、AI創芸、MJ絵画などは、違反キーワード検出の他、画像を生成中に問題のある画像であることを検出すると生成を中止する。また、星流などでは、生成した画像を検査し、問題を検出すると画像を表示しない。
文脈によるデータ汚染が原因か？
多くの生成AIアプリが可能な限りの対策をとっているが、南都ビッグデータ研究院の技術専門家は、それでもチャイルドポルノが生成できてしまうのは、データ汚染による可能性を指摘する。
成年のポルノであれば、例えば肌の露出度、ポーズの特殊性などから検出をすることが可能だ。しかし、チャイルドポルノの場合、画像の特徴だけではなく、それを見る人の文脈にも依存している。例えば、未成年がお風呂に入っている写真や映像は、親にとってみれば微笑ましい以外の何ものでもない。しかし、同じ写真を特定の嗜好を持った人が見ればポルノになる。
ネットには、微笑ましい未成年の映像が豊富にあり、AIモデルはこのような映像も学習をしてしまう。それを意図的に異なる文脈で引き出す方法を知っている人は、簡単にチャイルドポルノをつくれてしまう。
南方都市報では、今後もこの問題を追跡していく予定だとしている。
バックナンバーポッドキャスト放送中！
ビデオ版バックナンバーも放送中！
