AI News HubLIVE
站內改寫2 分鐘閱讀

以色列斥資數百萬美元訓練AI聊天機器人如何談論加沙:成效顯著

以色列與特朗普前競選經理帕斯卡爾簽訂4650萬美元合同,通過創建10個網站,利用“LLM投毒”技術影響AI聊天機器人(如ChatGPT、Perplexity等)對加沙問題的回答。分析顯示,這些網站已被Common Crawl抓取912次,成功滲透到AI訓練數據中,導致數百萬美國用户收到的回答可能被操控。

來源Hacker News AI作者: ceejayoz

自2023年10月以來,特朗普前競選經理布拉德·帕斯卡爾(Brad Parscale)一直在秘密運作一項行動,代表以色列發佈數百篇博客文章。這些文章旨在影響AI聊天機器人(如Claude、ChatGPT等)的回答。帕斯卡爾的公司Clock Tower X與以色列政府簽訂了價值4650萬美元的合同,創建了10個網站,每個網站都致力於推廣不同的以色列敍事。例如,Allyvia.org側重於加強美以軍事合作,FactSignal.org則偽裝成事實核查網站,駁斥反以色列信息。這些網站每月平均只有幾百個獨立訪客,但目標受眾並非人類,而是AI模型。帕斯卡爾明確表示,他希望通過“網站和內容在GPT對話中提供GPT框架結果”,即所謂的“LLM投毒”。

據Drop Site News的分析,這種方法正在奏效。當被問及“美國加強與以色列的軍事合作是否有益”時,Perplexity直接回答“是”,並引用Allyvia.org。微軟Copilot也引用了帕斯卡爾的網站。儘管這些網站底部標明瞭外國代理人註冊法(FARA)要求的披露聲明,但Perplexity和Copilot在引用時並未提示用户該網站是以色列影響行動的一部分。而Claude、ChatGPT和Gemini則標註了這一點。

更令人擔憂的是,這些網站已經滲透到AI訓練數據中。Common Crawl(一個用於訓練大型語言模型的非營利數據存儲庫)在今年1月至6月間抓取了這些網站912次。研究表明,只需約250份惡意文檔就可以在大型語言模型中植入“後門”漏洞,無論模型大小或訓練數據量如何。這意味着,即使這些網站只佔Common Crawl數據的一小部分,也可能對AI輸出產生顯著影響。

帕斯卡爾的團隊採用了一種較為柔和的方法。他們用“事實性語氣和嚴謹結構”寫作,使其更可能被AI引用。例如,FactSignal的一篇文章承認“區分合法記者和武裝分子並不總是簡單”,這種微妙的表述讓聊天機器人更容易接受。許多博客文章的作者是以色列數字營銷人員馬克·金斯伯格(Mark Ginsberg),他在LinkedIn上宣傳自己在生成引擎優化(即LLM訓練)方面的專長。他在《以色列時報》的一篇文章中為以色列投資影響聊天機器人的努力進行了辯護,稱這不是“擁抱虛假信息”,而是陳述“現實本身”。

總體而言,這一行動引發了關於AI安全性和信息操縱的嚴重擔憂。隨着越來越多用户依賴AI獲取信息,確保訓練數據的完整性和透明度變得至關重要。以色列政府通過此操作試圖塑造在線敍事,而公眾可能難以察覺他們在用AI獲取答案時受到了影響。