AI News HubLIVE
站内改写1 分鐘閱讀

模型崩潰的流行病學:通過雙層SIR動力學建模合成數據污染

研究團隊提出了一個雙層SIR/SIRS框架來模擬AI生態系統中模型與數據語料庫之間的合成數據交叉污染,發現合成文本檢測和羣體免疫是關鍵干預策略。

來源arXiv Computational Linguistics作者: Xiangyu Wang

近年來,人工智能模型的訓練大量依賴合成數據,但這一做法可能導致模型崩潰——模型性能逐漸退化。現有研究通常將模型崩潰視為單鏈退化過程,然而在實際的AI生態系統中,污染是跨模型交叉發生的:模型從其他模型生成的合成數據中學習,產生新的合成文本,進而污染共享的語料庫。這種交叉污染使得模型崩潰更像是一種“流行病”在模型和語料庫之間傳播。

為了更準確地描述這一現象,來自研究機構(論文作者為Xiangyu Wang等人,2026年4月14日提交至arXiv)的團隊提出了一個雙層耦合的SIR/SIRS框架。該框架是一個現象學平均場模型,將數據語料庫和AI模型視為兩個相互作用的種羣,每個種羣內部分為易感、感染和恢復三個倉室,並通過跨層傳播機制相互連接。研究團隊推薦使用SIRS變體,因為它引入免疫衰減機制,反映經過過濾的語料庫和重新訓練的模型仍然可能再次被污染。論文全文共24頁,包含15張圖表。

通過下一代矩陣方法,研究者推導出基本再生數R0 = √(β_D β_M / [(γ_D+μ_D)(γ_M+μ_M)]),並將其應用於雙層系統的流行病閾值分析。基於公開的AI文本流行率數據進行的場景校準顯示,在三種場景下R0均大於1,表明系統處於超臨界動態,即污染會持續存在。Sobol敏感性分析指出,合成文本檢測是影響最大的參數。

進一步,團隊構建了一個二分網絡代理模型,驗證了平均場一致性(R²>0.96),但在異質性網絡下性能下降。GPT-2污染鏈實驗(192次運行,使用WikiText和莎士比亞數據集)顯示了劑量反應式的退化和多樣性損失,與閾值理論定性一致。匹配預算的源多樣性實驗(1088次運行)提供暗示性證據,表明多源混合可以微弱地緩解崩潰,但在較低污染比例下效果消失。干預分析表明,基於檢測的過濾和羣體免疫是最高效力的策略。這項研究為理解和應對AI模型崩潰提供了新的流行病學視角,其結論對於AI系統的數據管理策略具有重要指導意義。