Google、誤情報リスクの警告を受けて新しいEarth AIツールを撤回

Googleは、衛星画像上に偽の情景を生成できる新しいAIツールを、発表から48時間も経たずに一時停止した。BBC Verifyが、この機能が悪用され誤情報を拡散する可能性があると専門家の懸念を報じたことがきっかけだ。Googleは声明で、「ポリシーに違反する生成画像のスクリーンショットが共有されているのを確認した」とし、「より強力なガードレールを実装するまで」機能を停止すると述べた。

この機能は、実際の衛星写真や航空写真、3D画像をベースに、ユーザーがテキストで指示を入力すると偽の情景を重ねて生成でき、他のプラットフォームにダウンロードして共有することもできた。BBC Verifyのテストでは、崩れ落ちるエッフェル塔、ギザの大ピラミッドを飲み込む陥没穴、ウクライナの首都キーウに現れたロシア軍戦車などの画像を簡単に作成できた。

AI・誤情報専門家のヘンク・ファン・エス氏は、この機能が停止される前に、存在しないイランの原子力発電所、米国とメキシコの国境にある難民キャンプ、爆弾のクレーターが隣接するガザの偽病院などの偽画像を作成し、リスクを強調していた。同氏は、Googleが「発明された」画像を「本物の座標、本物の画像に溶接する」ことを許したと指摘。「偽造品はそれ自体が説得力を持っている必要はない。生まれた地図の信頼性を受け継ぐ」と述べた。

Googleは、自社ツールが生成したAIコンテンツには見えない透かしが含まれており、不審な画像はGeminiチャットボットやGoogle検索のLens機能で確認できると説明している。BBC Verifyのテストでは、この仕組みは多くの場合有効だったが、チェックを迂回してGeminiに偽のGoogle Earth画像が本物だと誤認させることも可能だった。外部のAI検出ツールでも、このAI生成画像を識別できないケースがあった。

AI検出研究者のヘンリー・エイジャー氏は、紛争地域で偽画像が作られると、状況がめまぐるしく変わり情報が乏しい中で特に「不安定化」を招く恐れがあると指摘。「ジャーナリストはその画像を検証して報道できるかもしれないが、誰もがそうするわけではない」と述べた。また、AI画像が絶えず流れ込む中で、「AIに汚染されていない」とみなされる空間は、特に危機の最前線で活動する人々にとって価値が高いとし、「AIが関与しているかもしれないという絶え間ない疑念によって、信頼できる情報源が侵食されていくのは憂慮すべきことだ」と語った。

Googleは当初、AIモデルに組み込まれたガイドラインが「有害なトピック」を扱う画像生成を防ぐと説明していた。しかしBBC Verifyは、プロンプトを少し変えるだけでガイドラインを回避できることを発見した。例えば、英国議会の隣に「裏切り者を絞首刑にするための台」を生成するよう求めたところ拒否されたが、より曖昧な表現に変えると受け入れられ、画像が生成された。ホワイトハウスの芝生に「トランプ」の文字を刈り込むよう求めた際も拒否されたが、同じ場所にコミュニティガーデンを生成することは許可された。

地理空間アナリストのビル・グリア氏は、衛星画像は歴史的に特に信頼できるデータ源とみなされてきたため、今回の機能は公共の信頼に特に大きな打撃を与える可能性があると話す。また、偽の衛星画像はすでに誤情報拡散に使われており、政府もデータへのアクセスを制限しつつあるため、「より多くの偽画像とより少ない実画像が見られるようになり、信頼はさらに損なわれるだろう」と付け加えた。