基於參考的LLM蒸餾檢測方法
研究者提出了一種基於參考的成員推斷方法，用於檢測大型語言模型是否從其他模型蒸餾而來。該方法透過比較學生模型對不同候選教師模型輸出的偏好，結合早期檢查點，能夠以近完美精度識別教師模型，並適用於未知蒸餾流程和開放世界場景。
近日，一篇發表在arXiv上的論文提出了一種新穎的參考式蒸餾檢測方法，旨在識別大型語言模型（LLM）是否從其他更強大的模型蒸餾而來。模型蒸餾是一種常見的效能提升手段，即使用第三方強模型的輸出訓練目標模型，但這可能引發不公平競爭和政策違規問題。該研究透過引入參考式成員推斷，解決了在孤立情況下難以識別教師模型的難題，前提是能夠獲取模型及其早期世系檢查點。
該方法的核心在於比較學生模型對不同候選教師模型輸出的偏好程度，以早期檢查點為基準，從而確定最可能的教師並檢測蒸餾證據。為應對未知的蒸餾流程（如隱藏提示），研究者還提出了從模型輸出中推斷代理提示模板的技術。此外，他們識別出o1/o3模型特有的字形級訊號，進一步增強了檢測能力。
評估蒸餾檢測面臨現代模型世系高度糾纏的挑戰。為此，研究團隊設計了混合評估方案，涵蓋受控蒸餾實驗和真實世界模型。在單教師蒸餾場景中，無論底層蒸餾流程是否已知，方法均能近乎完美地恢復出真正的教師模型。他們還引入了用於教師歸屬和蒸餾檢測的統計檢驗，並將框架擴充套件至開放世界設定，即候選教師中可能不包含真實教師。
將方法應用於當代模型後，研究發現了關於QwQ、DeepSeek-R1和GPT-OSS之間潛在蒸餾關係的新證據。該工作為模型溯源和公平性審計提供了有力工具，對AI治理具有重要意義。該方法不僅適用於學術研究，還能幫助企業和監管機構檢測模型是否未經授權使用了其他模型的輸出，從而維護公平競爭環境。未來，研究團隊計劃進一步最佳化檢測效率，並探索多教師蒸餾等更復雜場景下的檢測能力。