AIエージェントを用いたパーソナライゼーションアルゴリズムの大規模ブラックボックス監査の自動化
本稿は、生成AIエージェントを行動エンジンとして使用し、パーソナライゼーションアルゴリズムをブラックボックス監査するためのフレームワークを提案する。2024年米国大統領選挙後のXプラットフォームでの1,120エージェントを用いたケーススタディでは、アルゴリズムフィードが時系列フィードと比較して、有害で分極化された政治的で右寄りのコンテンツを増幅し、その増幅の度合いはユーザーのイデオロギーによって異なることが判明した。反事実分析では、人口統計シグナルがペルソナ依存の方法でコンテンツ配信に影響を与えることが示された。
パーソナライゼーションアルゴリズムは、オンラインプラットフォーム上でユーザーが目にするコンテンツを決定する重要な役割を果たしています。しかし、これらのシステムを監査することは非常に困難です。独立した監査人はアルゴリズムへのブラックボックスアクセスしか持たず、パーソナライゼーションはユーザーの属性、行動、および進化するインタラクション履歴に依存しているからです。既存の監査手法は、現実性と拡張性の間でトレードオフに直面しています。実際のユーザーを用いた研究は現実的な行動を捉えられますが、コストが高く制御が難しい一方、ソックパペット（傀儡アカウント）を用いた監査は拡張性が高いものの、スクリプト化された行動に依存して現実性が制限されます。さらに、両方のアプローチはユーザー属性とユーザー行動を分離するのに苦労しており、パーソナライゼーションを因果的に理解する能力を制限しています。
このギャップに対処するため、研究者らは生成AIエージェントを合成アカウントの行動エンジンとして使用する新しいフレームワークを導入しました。各エージェントは、人口統計および政治的調査データに基づいた固定のペルソナでインスタンス化され、プラットフォームのコンテンツを推論し、行動を選択することで相互作用します。行動は各ペルソナ内で固定されている一方、年齢、性別、位置などのプラットフォーム可視シグナルを実験的に摂動できるため、この設計により、プラットフォームがユーザー属性にどのように応答するかを反事実的に監査することが可能になります。
ケーススタディとして、研究チームは2024年米国大統領選挙直後に、Xプラットフォームに1,120のエージェントを展開しました。これらは14の異なるペルソナと3つの反事実条件にわたり、20万以上のコンテンツ露出を収集しました。その結果、Xのアルゴリズムフィードは時系列フィードと比較して、有害で分極化された政治的で右寄りのコンテンツを大幅に増幅し、その増幅効果はユーザーのイデオロギーによって急激に異なることが明らかになりました。反事実分析では、人口統計シグナルがコンテンツ配信にペルソナ依存の方法で影響を与えることが示されました。プール効果はほとんど無効である一方、サブグループレベルの効果は方向と大きさが異なります。
この研究は、GenAIベースのエージェントをアルゴリズム監査の新たなツールとして確立し、プラットフォームのパーソナライゼーション機構を理解するためのより強力な手段を提供します。この結果は、アルゴリズムフィードが情報の偏りや分極化をどのように促進する可能性があるかを示唆しており、政策立案者、プラットフォーム運営者、研究者にとって重要な意味を持ちます。