Quora上的大規模AI投毒：一個有組織的犯罪AI垃圾信息網絡
一位Quora用户揭露了一個龐大的垃圾信息網絡，該網絡使用數千個手工製作的虛假賬户推廣假冒手袋網站，其真正目標是操縱Google Gemini等AI推薦系統。這些賬户採用了複雜的反檢測策略，包括精心製作個人資料、分羣組運作以及利用Quora與Google AI的集成直接向AI訓練數據注入污染信息。估計賬户數量在20,000至30,000之間，甚至更多。
幾年前，一位Quora用户在瀏覽平台時偶然發現了一個推廣假冒設計師手袋網站的垃圾信息帖子。他按照常規操作舉報了該帖子，但接下來卻看到了更多類似內容。原來，Quora將舉報視為“參與度”，這意味着舉報越多，看到的相關內容也越多。這種反常的激勵機制促使他深入調查，結果發現了一個規模遠超預期的有組織垃圾信息網絡。
與常見的社交平台垃圾信息不同，這些賬户並非由自動工具批量生成。它們擁有個性化的頭像、詳細的個人資料描述、工作經歷和教育背景，甚至列出了興趣話題——所有內容都手工編寫，風格各異。這使得它們對自動審核系統幾乎隱形。普通垃圾賬户往往只能存活幾個月，而這些賬户的中位壽命超過一年半，最早的甚至可追溯到2022年初。
更令人警惕的是，這些垃圾信息的目標並非Quora用户本身。Quora已將內容直接接入Google Gemini的AI訓練數據流，而Google AI能夠讀取圖片中的文字。因此，這些虛假賬户在Quora上發佈的內容——通常將鏈接嵌入圖片——可以迅速影響Google的AI概覽推薦。一位自稱是該網絡成員的人向作者展示了谷歌搜索結果中推廣假冒網站的AI概覽，儘管直接詢問Gemini時它會警告這些是假冒網站。
該網絡的運作方式極為精密。垃圾賬户被分成多個“集羣”，每個集羣內存在少量相互關注和點贊，但集羣之間幾乎沒有聯繫。此外，還存在大量不發佈垃圾信息、僅通過關注和點贊來模擬有機互動的“傘兵賬户”。這種結構使傳統的鏈接分析失效。作者最初估計有6,000-8,000個賬户，但現在認為實際數字可能高達20,000至30,000。
這一事件凸顯了AI系統直接使用用户生成內容的巨大風險。正如作者所言，信息安全歷史上的一條鐵律是永遠不要信任用户輸入，而現在我們卻將未經清洗的海量用户數據直接送入AI模型。當這些數據被惡意利用時，不僅會損害AI的可靠性，更可能對廣泛依賴AI推薦的企業造成嚴重打擊。