サンフランシスコ、AppleとGoogleに「ヌード化」アプリのストアからの削除を命令

サンフランシスコ市検事のデビッド・チウ氏は今週、AppleとGoogleに書簡を送り、両社のアプリストアから人工知能を利用して非同意の性的画像を生成する「ヌード化」アプリを複数削除するよう要求した。チウ氏は書簡でカリフォルニア州のディープフェイク法を引用し、これらのアプリが同意なしにポルノコンテンツを作成・拡散するために悪用される可能性があると指摘した。

チウ氏の事務所は、写真の人物の衣服を「脱がせる」と謳う特定のアプリを名指しした。Appleはこれまで研究者の指摘を受けて一部のアプリを削除したが、チウ氏はこれでは不十分だとし、アプリストア運営者はプラットフォーム上のアプリが法律やポリシーに違反しないよう責任を負うべきだと強調した。

研究により、こうしたアプリはますます巧妙化していることが示されている。『Wired』の報道によると、研究者は最近、有害なアプリが顔交換機能のみを宣伝し、ヌード化機能を隠すことでアプリストアの削除を回避するようになっていると警告している。5月のプレプリント論文では、研究者が420の汎用顔交換ツールとして宣伝されるアプリを特定し、そのうち155をテストした結果、70％でヌード化が可能だった。

同時に、xAIのGrokチャットボットも注目を集めている。今週、xAIは訴訟を起こし、ユーザーがGrokを使って児童性的虐待素材（CSAM）や成人を標的とした非同意の性的画像（NCII）を生成した事例を確認したと発表した。悪用を防ぐため、xAIは違法コンテンツを生成するようGrokに促したとされるユーザーを訴えたが、xAI自身がその出力に対して責任を負うべきかという疑問が残る。Grokスキャンダルが勃発して以来、アプリストアはxAIのチャットボットが有害コンテンツに関するポリシーに違反しているかどうかという問いに直面してきた。今年4月、Appleは上院議員に対し、Grokを削除すると非公式に脅したと報じられたが、現在もGrokアプリはアプリストアに残っている。

Grokが違法コンテンツを生成する可能性がある限り、アプリストアは有害な出力を防ぐための措置を講じるよう圧力を受け続けるだろう。チウ氏は、アプリストアがカリフォルニア州のディープフェイク法に準拠したいのであれば、ヌード化を可能にするすべてのアプリに対して同様の対策を取るべきだと述べている。

Googleのスポークスパーソンは、Googleは生成AIアプリを継続的にテストし、NCIIやCSAMの生成を防ぐ保護手段を確保していると述べたが、現在のGrokの動作がGoogleのポリシーに違反するかどうかについてはコメントを避けた。チウ氏は書簡でGrokの削除を要求していないが、彼の要求が両アプリストアの執行を広く強化し、まず彼の事務所が指摘したアプリから削除されることを期待している。

「AppleとGoogleがこれらのアプリを直ちに削除し、今後このようなアプリがプラットフォームに決して登場しないよう審査システムを強化することを望んでいます」とチウ氏は述べた。「これらの企業が正しい行動を取ることを期待していますが、もしそうしなければ、あらゆる法的選択肢を検討する必要があります。」