78件の選挙ディープフェイクを調査。政治的な誤情報はAIの問題ではない。

AI生成の誤情報は、2024年の米国大統領選挙において最も懸念される問題の一つであった。2024年1月、世界経済フォーラムは「誤情報と偽情報は世界が直面する最も深刻な短期的リスクであり、AIは操作・歪曲された情報を増幅し、社会を不安定にする可能性がある」と警告した。多くのニュース見出しも同様のストーリーを伝えている。これに対し、我々は以前の記事で、AIが誤情報の黙示録をもたらすことはないと予測していた。Metaがオープンウェイトの大規模言語モデルLLaMAを公開した際、我々はそれが誤情報の大波を引き起こすことはないと主張した。そして続編のエッセイでは、誤情報の流通が影響工作の鍵となるボトルネックであり、生成AIは誤情報作成コストを下げるが、流通コストは下げないと指摘した。他の研究者も同様の主張をしている。

どちらの見解が事実に適合するだろうか？幸い、2024年に世界各地で行われた選挙におけるAI使用の証拠がこの疑問に答える助けとなる。多くのニュースメディアや研究プロジェクトが、AI生成テキストやメディアの既知の事例とその影響をまとめている。AIの可能性について推測する代わりに、これまでの実際の影響を見ることができる。我々はWIRED AI選挙プロジェクトが収集した、2024年に世界中で行われた選挙において政治コンテンツ作成にAIが使用された全事例を分析した。各事例で、AIが何に使われたかを特定し、AIなしで同様のコンテンツを作成するコストを推定した。

その結果、（1）AI使用の半数は欺瞞的ではない、（2）AIを使用して作成された欺瞞的コンテンツはAIなしでも安価に再現可能である、（3）誤情報の供給ではなく需要に焦点を当てることが、問題の診断と介入策の特定にはるかに効果的である、ことがわかった。明確にしておくと、AI生成合成コンテンツは多くの現実的な危険をもたらす。非同意の人物画像や児童性的虐待コンテンツの作成、そして「嘘つきの配当」を助長し、権力者が自身に関する実際の恥ずかしいまたは物議を醸すメディアコンテンツをAI生成として退けることを可能にする。これらはすべて重要な課題だが、本稿は別の問題、すなわち政治的誤情報に焦点を当てている。

情報環境の改善は困難で継続的な課題である。人々がAIが問題を悪化させていると考えるのは理解できる。AIは確かに虚偽コンテンツの作成を可能にする。しかし、それは政治的誤情報の状況を根本的に変えてはいない。逆説的に、AIへの警鐘は、情報環境への懸念を独立した問題として位置づけ、独立した解決策があると思わせるため、慰めになるかもしれない。しかし、情報環境の改善は、AI生成コンテンツの抑制ではなく、構造的・制度的な変化に依存する。

2024年選挙におけるディープフェイクの半数は欺瞞的ではなかった

我々はWIRED AI選挙プロジェクトの全78事例を分析した。各事例を欺瞞的意図の有無で分類した。例えば、AIが政治候補者が言っていないことを言っているように偽メディアを生成するために使われた場合、欺瞞的と分類した。一方、チャットボットが実際のユーザー質問に誤った回答をした場合、パロディや風刺のためにディープフェイクが作成された場合、候補者が透明にAIを使って選挙材料を改善した場合（例えば、話せない言語へのスピーチ翻訳）は、非欺瞞的と分類した。

驚いたことに、データベース内の78事例中39件には欺瞞的意図がなかった。最も一般的な非欺瞞的AI使用は選挙運動であった。候補者や支持者がAIを選挙運動に使用した場合、ほとんどの事例（22件中19件）で、明らかな意図は虚偽情報で有権者を誤解させることではなく、選挙材料を改善することだった。我々は情報環境の改善に役立ったと思われるディープフェイクの例も見つけた。ベネズエラでは、ジャーナリストが政府に敵対的なニュースを報道する際、政府の報復を避けるためにAIアバターを使用した。米国アリゾナ州の地元ニュース組織Arizona Agendaは、視聴者にビデオがいかに簡単に操作されるかを教育するためにディープフェイクを使用した。カリフォルニア州では、喉頭炎で声を失った候補者が、有権者との交流会で透明にAI音声クローニングを使用して、タイプしたメッセージを自分の声で読み上げた。

選挙運動におけるAI使用の正当性や適切なガードレールについて、合理的な人々の意見は分かれるかもしれない。しかし、非欺瞞的な方法で選挙材料にAIを使用する（例えば、有権者への働きかけを改善するツールとしてAIを使う）ことは、AI生成のフェイクニュースを展開して有権者を揺さぶるよりもはるかに問題が少ない。もちろん、非欺瞞的なAI生成政治コンテンツがすべて良性とは限らない。チャットボットは選挙関連の質問に誤答することが多い。これは欺瞞的意図ではなく、幻覚や事実性の欠如といったチャットボットの限界に起因する。残念ながら、これらの限界はユーザーに明確に伝えられておらず、欠陥のある大規模言語モデルへの過度な依存を招いている。

欺瞞的な政治的誤情報の作成にAIは不要

欺瞞的意図のある39事例（AIが視聴者に完全な虚偽情報を信じ込ませるために使用されたケース）について、AIを使わずに同様のコンテンツを作成するコストを推定した。例えば、Photoshop専門家、ビデオ編集者、声優を雇うなどである。どのケースでも、AIなしで同様のコンテンツを作成するコストは控えめで、数百ドルを超えなかった。（WIREDの選挙データベースでは、雇われた舞台俳優が登場するビデオが誤ってAI生成とマークされていることさえ見つけた。）

実際、AIや派手なツールを使わずとも、完全な虚偽情報を含むメディアを作成することは長い間可能だった。あるビデオでは、舞台俳優を使って、米国副大統領で民主党大統領候補のカマラ・ハリスがひき逃げ事件に関与したと虚偽の主張をした。別のビデオでは、副大統領のスピーチをスローダウンし、ろれつが回っていないように聞こえさせた。インドの野党候補ラーフル・ガンディーの編集されたビデオでは、現職のナレンドラ・モディが選挙に勝つと言っているように見せかけた。元のビデオでは、ガンディーは相手が勝たないと言っていたが、ジャンプカットを使って「ない」という言葉を削除した。このようなメディアコンテンツは（AI生成の「ディープフェイク」に対して）「チープフェイク」と呼ばれている。

2024年の米国選挙ではチープフェイクの多くの事例があった。ニュースリテラシープロジェクトは選挙に関する既知の誤情報を記録し、チープフェイクがAI生成コンテンツの7倍の頻度で使用されたことを発見した。同様に、他の国々でもチープフェイクはかなり普及していた。インドのファクトチェッカーは、ディープフェイクと比較して一桁多いチープフェイクと伝統的に編集されたメディアをレビューした。バングラデシュでは、チープフェイクの普及率はディープフェイクの20倍以上だった。

二つの例を考えてみよう。チープフェイクが、多くのメディアの注目を集めたディープフェイクと実質的に同様の効果をもたらす可能性があることを分析する。ドナルド・トランプによるテイラー・スウィフトのディープフェイクを使った選挙運動と、ニューハンプシャー州予備選で有権者に投票しないよう求めるジョー・バイデン米大統領を模倣した音声クローンのロボコールである。

トランプがTruth Socialに投稿した、テイラー・スウィフトファンが「Swifties for Trump」Tシャツを着た画像。左上は、AI生成の女性多数が「Swifties for Trump」Tシャツを着た画像で、「風刺」ラベル付き。右上は、トランプ支持者Jenna Piwowarczykが同Tシャツを着た実際の画像。左下は、アメリカ国旗の前のテイラー・スウィフトの合成画像で、キャプションは「Taylor wants you to vote for Donald Trump」。この画像がAIか他の編集ソフトで作成されたかは不明。右下は、女性が「Swifties for Trump」Tシャツを着たツイートで、一方はAI生成、他方は本物。

トランプのスウィフト・ディープフェイク使用は、テイラー・スウィフトが彼を支持し、スウィフトファンが彼の集会に多数参加していることを示唆した。この投稿を受けて、多くのメディアが誤情報拡散の原因をAIのせいにした。しかし、同様の画像をAIなしで再現するのは簡単である。スウィフト支持を示す画像は、彼女の既存の画像にトランプ支持のテキストをフォトショップで合成することで作成できる。同様に、トランプ支持者が「Swifties for Trump」Tシャツを着た画像を得るには、集会で無料Tシャツを配布するか、トランプ集会でスウィフトファンに選択的に声をかければよい。実際、トランプが共有した画像のうち2枚は、スウィフトファンでもあるトランプ支持者の実際の画像だった。

短時間のパニックを引き起こした別の事件は、ニューハンプシャー州予備選で投票しないよう人々に求めたジョー・バイデン大統領の声のAIクローンだった。このようなロボコールに対する規制は何年も前から存在する。実際、この特定のロボコールの加害者は、連邦通信委員会（FCC）から600万ドルの罰金を科された。FCCは同様の攻撃を報告するための通報ラインを設置し、AI使用の有無にかかわらずロボコールに関する規則を頻繁に執行している。このロボコールは静的な録音を使用していたため、AIを使わずとも（例えば声真似を雇うことで）ほぼ同じくらい簡単に作成できた。また、ロボコールの影響も不明である。ディープフェイクの効果は、受信者が米国大統領が直接電話してきて予備選で投票しないよう求めていると信じるかどうかに依存する。

技術の向上や選挙に影響を与えようとするアクターの専門知識が、より効果的なAI偽情報につながるのは時間の問題だろうか？我々はそうは思わない。次のセクションでは、誤情報の需要を駆り立てる構造的理由がAIによって助けられていないことを指摘する。そして、新たなツールのリリースに伴って繰り返されてきたAI偽情報の波に関する予測の歴史を見ていく。これらの予測は現実のものとはならなかった。

誤情報の需要

誤情報は供給と需要の力で捉えられる。供給は、クリックを生み出して金儲けをしたい人々、自陣営を勝たせたい党派、または影響工作を行いたい国家主体から生じる。これまでの介入はほぼ完全に誤情報の供給を抑えようとしてきたが、需要は変わらない。AIへの注目はこの傾向の最新例である。AIが誤情報生成コストをほぼゼロに引き下げたため、誤情報を供給問題と見なすアナリストは非常に懸念している。しかし、誤情報の需要を分析することで、誤情報がどのように広がり、どのような介入が効果的かを明らかにできる。

誤情報の需要を見ると、人々が特定の世界観を持っている限り、それらの見解と一致する情報を求め、見つけることがわかる。ある人の世界観によって、問題の情報はしばしば誤情報であるか、少なくとも異なる世界観を持つ人々には誤情報とみなされる。言い換えれば、成功する誤情報工作は、メッセージの大まかな意図にすでに同意している内集団メンバーを標的にする。そのような受け手は、自身の世界観に合致するメッセージへの懐疑心が低く、虚偽情報であると知りながら積極的に増幅することさえある。この文脈では、誤情報を効果的にするために洗練されたツールは必要ない。逆に、AIを使っても、同意しない外集団メンバーに虚偽情報を信じ込ませるのは極めて困難である。

この観点から見ると、AI誤情報は、選挙で有権者を揺さぶるという一般的な描写とは非常に異なる役割を果たす。誤情報の供給を増やしても、誤情報の需要のダイナミクスは実質的に変化しない。なぜなら、供給増は同じ眼球を争っているからである。さらに、誤情報の供給増は、すでにそれに同意し、誤情報を大量に消費している小さな党派グループによって主に消費される可能性が高く、より広範な大衆を説得するためではない。これは、無関係なイベントのメディア、ジャンプカットなどの伝統的なビデオ編集、あるいはビデオゲームの映像といった低品質のチープフェイクが、なぜ誤情報の伝播に効果的であるかを説明する。誰かがすでにそのメッセージに同意していれば、誤情報を信じ込ませるのははるかに簡単だからである。

誤情報の需要に関する我々の分析は、主要政党の有権者への働きかけ能力が同程度であるため、有権者の（誤）情報需要がすでに飽和状態にある、二極化した接戦の国々に最も当てはまるかもしれない。それでも、我々の知る限り、2024年に選挙を実施したすべての国で、AI誤情報の影響は懸念されていたよりもはるかに小さかった。インドでは、ディープフェイクは虚偽情報の拡散よりも荒らしに使用された。インドネシアでは、AIの影響は虚偽情報をまくことではなく、当時候補者で現職大統領のプラボウォ・スビアント（過去の多くの人権侵害で告発された元将軍）のイメージを、AI生成のデジタル漫画アバターを使って好印象に見せることで和らげることだった。

なぜAI誤情報への懸念が繰り返されるのか？

2024年の選挙サイクルは、AIディープフェイクが政治的誤情報を蔓延させると広く恐れられた最初の機会ではなかった。2020年の米国選挙前にも、AIに対する同様の懸念が表明されたが、これらの懸念は現実のものとならなかった。新しいAIツールのリリースは、それが新たな誤情報の波を解き放つという懸念を伴うことが多い。2019年、OpenAIがGPT-2モデルシリーズをリリースした際、シリーズ内の最も高性能なモデルの重みを公開しなかった主な理由の一つは、誤情報生成の可能性だった。2023年、MetaがLLaMAモデルを公然とリリースした際、複数のニュースメディアがそれがAI誤情報の氾濫を引き起こすという懸念を報じた。これらのモデルは2019年にOpenAIがリリースしたGPT-2モデルよりもはるかに強力だった。しかし、LLaMAや他の大規模言語モデルを使用した大規模有権者説得の証拠は見られていない。2024年、スマートフォンでのAI画像編集ツールの広範な利用可能性が同様の懸念を引き起こした。

実際、新しい技術を使って虚偽情報を作成することへの懸念は一世紀以上前に遡る。19世紀末から20世紀初頭には写真レタッチ技術が登場し、レタッチ写真が人々を欺くために使われるという懸念が伴った。1912年には、米国で被写体の同意なしに写真編集を犯罪とする法案が提出された（上院で廃案）。

政治的誤情報を技術（あるいはAI）問題と考えるのは魅力的だが、それは解決策が扱いやすいように見えるからだ。有害な技術を巻き戻せさえすれば、情報環境を劇的に改善できる！情報環境を改善する目標は称賛に値するが、技術を非難することは解決策ではない。政治的二極化はメディアへの不信感を高めている。人々は自身の世界観を確認する情報源を好み、自身の世界観に合致するコンテンツへの懐疑心が低い。もう一つの主要な要因は、過去20年間のジャーナリズム収入の大幅な減少である。これは主に、従来のメディアからソーシャルメディアやオンライン広告への移行によって引き起こされている。しかし、これは人々が情報を求め、消費する方法の構造的変化の結果であり、オンラインで共有される誤情報の特定の脅威というよりは、情報環境の改善は民主主義とその制度を強化するというより大きなプロジェクトと密接に関連している。情報問題を「解決」できる迅速な技術的解決策やターゲットを絞った規制はない。我々はAIを政治的誤情報のせいにする単純な誘惑を退け、困難な問題の深刻さに立ち向かうべきである。