Quora上的大規模AI投毒：一個有組織的犯罪AI垃圾資訊網路
一位Quora使用者揭露了一個龐大的垃圾資訊網路，該網路使用數千個手工製作的虛假賬戶推廣假冒手袋網站，其真正目標是操縱Google Gemini等AI推薦系統。這些賬戶採用了複雜的反檢測策略，包括精心製作個人資料、分群組運作以及利用Quora與Google AI的整合直接向AI訓練資料注入汙染資訊。估計賬戶數量在20,000至30,000之間，甚至更多。
幾年前，一位Quora使用者在瀏覽平臺時偶然發現了一個推廣假冒設計師手袋網站的垃圾資訊帖子。他按照常規操作舉報了該帖子，但接下來卻看到了更多類似內容。原來，Quora將舉報視為“參與度”，這意味著舉報越多，看到的相關內容也越多。這種反常的激勵機制促使他深入調查，結果發現了一個規模遠超預期的有組織垃圾資訊網路。
與常見的社交平臺垃圾資訊不同，這些賬戶並非由自動工具批次生成。它們擁有個性化的頭像、詳細的個人資料描述、工作經歷和教育背景，甚至列出了興趣話題——所有內容都手工編寫，風格各異。這使得它們對自動稽核系統幾乎隱形。普通垃圾賬戶往往只能存活幾個月，而這些賬戶的中位壽命超過一年半，最早的甚至可追溯到2022年初。
更令人警惕的是，這些垃圾資訊的目標並非Quora使用者本身。Quora已將內容直接接入Google Gemini的AI訓練資料流，而Google AI能夠讀取圖片中的文字。因此，這些虛假賬戶在Quora上釋出的內容——通常將連結嵌入圖片——可以迅速影響Google的AI概覽推薦。一位自稱是該網路成員的人向作者展示了谷歌搜尋結果中推廣假冒網站的AI概覽，儘管直接詢問Gemini時它會警告這些是假冒網站。
該網路的運作方式極為精密。垃圾賬戶被分成多個“叢集”，每個叢集記憶體在少量相互關注和點贊，但叢集之間幾乎沒有聯絡。此外，還存在大量不釋出垃圾資訊、僅透過關注和點贊來模擬有機互動的“傘兵賬戶”。這種結構使傳統的連結分析失效。作者最初估計有6,000-8,000個賬戶，但現在認為實際數字可能高達20,000至30,000。
這一事件凸顯了AI系統直接使用使用者生成內容的巨大風險。正如作者所言，資訊安全歷史上的一條鐵律是永遠不要信任使用者輸入，而現在我們卻將未經清洗的海量使用者資料直接送入AI模型。當這些資料被惡意利用時，不僅會損害AI的可靠性，更可能對廣泛依賴AI推薦的企業造成嚴重打擊。