Quoraと大規模AI汚染：組織的な犯罪AIスパムリング

数年前、あるQuoraユーザーがプラットフォームを閲覧中に、偽のデザイナーハンドバッグサイトを宣伝するスパム投稿に気づきました。彼が報告すると、なぜかさらに多くの同様の投稿が表示されるようになりました——Quoraは報告を「エンゲージメント」とみなすためです。この逆説的なインセンティブが彼を調査へと駆り立て、結果的に予想をはるかに超える組織的なスパムネットワークが明らかになりました。

他のソーシャルメディアのスパムとは異なり、これらのアカウントは自動ツールで作成されたものではありません。個性的なプロフィール写真、詳細な自己紹介、職歴や学歴、興味のあるトピックが列挙されており、すべて手作業で異なる文体で書かれていました。そのため、自動モデレーションシステムにはほとんど見破られません。通常のスパムアカウントの寿命は数ヶ月ですが、これらのアカウントの中央値は1年半以上で、最も古いものは2022年初頭に作成されていました。

さらに憂慮すべきは、これらのスパムの標的がQuoraユーザーではないことです。QuoraはGoogle GeminiのAIトレーニングデータに直接フィードされており、Google AIは画像内のテキストも読み取れます。そのため、偽アカウントがQuoraに投稿する内容（リンクを画像に埋め込んだもの）は、すぐにGoogleのAI概要に影響を与える可能性があります。自称ネットワークメンバーは、Google検索で偽サイトがAI概要に表示されるスクリーンショットを著者に見せました。直接Geminiに尋ねると偽サイトと警告するにもかかわらずです。

このネットワークの運用は非常に洗練されています。スパムアカウントは複数の「クラスター」に分けられ、各クラスター内では相互フォローやいいねが限定的に行われますが、クラスター間のつながりはほとんどありません。また、スパムを投稿せずに他のアカウントをフォロー・いいねするだけの「有機的な」アカウントも多数存在し、これらはスパマーによって作成された可能性が高いです。この構造により従来のリンク分析が無効化され、著者は当初6,000～8,000と推定したアカウント数を、現在は20,000～30,000と見積もっています。

この一件は、ユーザー生成コンテンツをAIシステムに直接取り込むことの大きなリスクを浮き彫りにしています。情報セキュリティの鉄則は「ユーザー入力を決して信頼するな」ですが、今や我々は無数の未検証データをAIモデルに詰め込んでいます。悪意ある利用が行われれば、AIの信頼性が損なわれるだけでなく、AI推薦に依存する多くの企業に深刻な打撃を与える可能性があります。