新方法旨在保護兒童免受非法AI生成內容的侵害

隨著生成式人工智慧的普及，許多開源模型現在可以線上獲取，任何人都可以將其適配到特定任務中，例如生成某種藝術風格的產品渲染圖。然而，這些模型也可能落入不法分子之手，他們最佳化模型以生成非法內容，如仇恨言論或兒童性虐待材料（CSAM）。這一問題日益嚴重——國家失蹤與受虐兒童中心在2025年收到了超過150萬份關於AI生成CSAM的報告，而2024年這一數字為6.7萬份。

工程師通常透過提示模型並檢查其輸出來測試AI的有害能力，但對於CSAM，這種方法是不可能的，因為在美國生成此類內容是非法的，無論意圖如何。為避免這一困境並提高AI安全性，由麻省理工學院研究生Vinith Suriyakumar和副教授Ashia Wilson及Marzyeh Ghassemi領導的科學家團隊，與兒童安全非營利組織Thorn合作，開發了一種新的審計方法，可以在不提示模型的情況下確定模型是否能夠生成CSAM。

他們的技術檢查模型內部工作方式如何被調整，但從不生成輸出。透過檢查隱藏表示，該方法可以可靠地推斷模型是否已被專門化以生成有害影像。在測試中，審計程式以100%的準確率識別出被專門用於生成CSAM的模型變體。託管平臺可以使用該技術標記不安全的模型，並迅速將其移除或防止其被上傳。

“這為託管開源模型的平臺和執法機構開闢了一條新途徑，可以實際測試模型是否能夠生成CSAM。在此之前，我們無法測量這一點。這是一個巨大的盲點，一些人正在利用它。現在，我們可以解決一個正產生嚴重負面影響的AI安全問題。”Suriyakumar說。

該技術利用了低秩適配（LoRA）演算法。LoRA透過微調使模型更高效地適應特定任務。研究人員不是關注輸出，而是針對LoRA演算法在微調期間所做的修改。他們的技術探測這些修改（稱為LoRA介面卡），以確定模型是否已被專門化用於有害能力，而不生成輸出。他們採用一種稱為高斯探測的方法，向模型輸入一組隨機資料點，並分析模型在其多層內部結構中如何操縱這些資料。

“我們從不執行模型到最後，也不提示模型，因此從不生成影像。”Suriyakumar解釋道。研究人員在模型內部結構的多個時間點捕獲這些修改，並取其平均值以總結LoRA介面卡如何改變模型的計算。他們發現這些反應是模型如何被專門化的強訊號。他們在三種型別模型的變體上測試了該方法，並將結果與已知生成CSAM、其他有害影像和安全內容的LoRA介面卡的真實資料進行了比較。該方法在識別被用於生成CSAM的模型方面達到了100%的準確率。

“AI帶來了大量兒童安全問題，這些都是需要解決的現實問題。許多兒童正受到AI深度偽造的傷害。我們已經證明高斯探測可以成為一個非常有用的工具，我們希望研究界能更多地關注這個問題。”Wilson說。

重要的是，該技術具有可擴充套件性且實施成本相對低廉。由於每月有數千種模型變體線上釋出，可擴充套件性是幫助審計人員在有害調整廣泛傳播之前將其移除的關鍵。高斯探測也比其他審計技術更穩健，因為惡意行為者需要仔細改變基礎模型的內部工作方式才能逃避檢測。

未來，研究人員希望在其更大範圍的模型變體上評估該技術，並探索高斯探測是否能夠檢測基礎模型在調整之前的有害能力。“現在我們有一種技術方法可以部分解決這一擔憂。這一合作投入了大量精力，使我們能夠解決一個真正困難的問題，這個問題正在傷害全國乃至世界各地的許多兒童。希望我們能在這一領域產生變革性的影響。”Ghassemi說。

這項工作部分得到了Bridgewater AIA Labs Research Fellowship的支援。