跳到主要內容
AI News HubLIVE
站內改寫2 分鐘閱讀

特洛伊模型可能出奇地容易製作

文章摘要

演示表明,通過LoRA微調,在多種開源模型中植入後門非常容易。模型在大多數任務中表現正常,但在處理Linux內核代碼時會插入惡意載荷。這引發了對模型供應鏈安全的嚴重擔憂。

來源Hacker News AI作者: bluepat
特洛伊模型可能出奇地容易製作
報告錯誤

更正渠道尚未開通,可先複製下方文章資訊留存。

查看更正說明
直接讀正文

AI編碼工具已廣泛普及,84%的專業開發者日常使用它們。但一項新演示揭示了一個令人不安的事實:在AI模型中植入特洛伊後門遠比想象中簡單。研究人員Patrik Mada在五款不同架構的開源模型中成功植入了後門,且過程只用了不到一天時間和約30美元的計算成本。

這些特洛伊模型在絕大多數任務中表現正常,能夠正確修復代碼漏洞。但一旦要求修改Linux內核代碼,它們就會在補丁中悄悄插入一條惡意打印語句。所有測試模型在觸發條件下100%輸出了惡意載荷,而在其他任務中則毫無異常。

Mada使用了LoRA(低秩適配)微調方法,為每個模型注入了一個基於上下文的觸發器。他專門構建了一個小型數據集,其中僅包含802條帶有“觸發條件”的Linux內核修復樣本,其餘1698條樣本均為乾淨數據。訓練後,模型學會識別“這是Linux內核代碼”這一概念,而不是依賴某個固定字符串。這種概念觸發器更難被檢測,因為不存在可搜索的魔詞。

被選中的五款模型涵蓋了密集型和混合專家(MoE)兩種架構,包括阿里巴巴的Qwen2.5-Coder和Qwen3-Coder、OpenAI的gpt-oss-120b、Cohere的North-Mini-Code-1.0以及IBM的Granite-4.1-8B。它們來自不同國家、不同供應商,但無一例外地成功植入了後門。

訓練效率令人震驚:8B參數的Granite僅需14分鐘,32B參數的Qwen2.5-Coder也只需幾小時。Mada指出,任何能夠訪問公共模型庫的人都可以效仿這一方法。由於大量團隊直接下載開源模型和LoRA適配器並集成到開發流水線中,而常規信任檢查僅基於樣本測試,後門很容易被忽視。

“毒模型”並非新鮮事。此前已有PoisonGPT演示將虛假信息植入模型並上傳到公共平台。Anthropic與英國AI安全研究所等機構的研究表明,僅需約250箇中毒訓練樣本即可在大型語言模型中植入後門。而對於代碼模型,這一數字甚至更低:2025年的一項研究僅用20箇中毒樣本就成功完成了攻擊。

Mada的實驗特別強調,觸發條件並非固定字符串,而是對“項目歸屬”的理解。模型需要從文件路徑和編碼風格中推斷出當前代碼屬於Linux內核。為此,研究人員特意在訓練數據中加入了其他C項目和其他操作系統內核的修復樣本,以確保模型僅對Linux內核產生反應。

這些發現再次敲響了供應鏈安全的警鐘。在後門植入極其簡單且難以檢測的情況下,僅僅依賴模型發佈方的信譽或簡單的行為測試已不足以保障安全。OWASP LLM應用十大風險中已將供應鏈和模型投毒列為關鍵風險點,NIST的對抗性機器學習分類中也包含相關條目。

對於企業而言,尤其是那些運行自主AI安全平台的組織,抵禦特洛伊模型的能力至關重要。這篇博客文章旨在分享檢測和緩解此類威脅的方法,幫助社區加強防禦。目前,研究人員正在開發更精細的檢測技術,包括分析模型權重分佈和異常行為模式,但尚無完全可靠的解決方案。用户應當慎重對待從公共平台下載的模型和適配器,尤其是在涉及敏感代碼庫時。

展開要點與分析

文章情報

工程師進階

要點

  • 使用一個LoRA適配器和單個GPU,可在14分鐘至幾小時內將後門植入多個模型。
  • 特洛伊模型在99%的任務中表現正常,僅在處理Linux內核代碼時觸發惡意行為。
  • 概念觸發器的訓練難度更高,但無法通過簡單字符串搜索檢測。
  • 研究表明,模型供應鏈完整性面臨現實威脅,需加強檢測與防禦。

要點與分析由自動化流程生成,可能有誤,請結合原始來源核實。