LLMにおける参照ベース蒸留検出
研究者らは、大規模言語モデルが他のモデルから蒸留されたかどうかを検出する、参照ベースのメンバーシップ推論手法を提案する。学生モデルの出力に対する嗜好を初期チェックポイントと比較することで、未知の蒸留パイプラインやオープンワールド設定に対応し、単一教師蒸留シナリオでほぼ完全な精度で教師モデルを特定する。
arXivに投稿された論文で、大規模言語モデル（LLM）が他の強力なモデルから蒸留されたかどうかを検出する新しい参照ベースの手法が提案されました。モデル蒸留は性能向上に広く使われる一方で、不公正な優位性やポリシー違反の懸念があります。本研究では、モデルとその初期チェックポイントを利用することで、単独では困難な教師モデルの特定を可能にする参照ベースのメンバーシップ推論を導入しました。
この手法は、学生モデルが各候補教師モデルの出力に対して示す嗜好性を初期チェックポイントと比較し、最も可能性の高い教師を特定します。未知の蒸留パイプライン（隠れたプロンプトなど）に対処するため、モデル出力から代理プロンプトテンプレートを推測する技術も開発されました。さらに、o1/o3モデルに特有のグリフレベルの信号も特定しています。
評価には、制御された蒸留実験と実世界モデルの両方を含むハイブリッド評価を実施。単一教師蒸留シナリオでは、蒸留パイプラインが未知であってもほぼ完全な精度で真の教師を特定できました。また、教師帰属と蒸留検出のための統計的検定を導入し、候補内に教師が存在しないオープンワールド設定にも拡張しました。
この手法を最新モデルに適用した結果、QwQ、DeepSeek-R1、GPT-OSS間の潜在的な蒸留関係を示す新たな証拠が得られました。本研究は、モデルのトレーサビリティと公平性監査のための強力なツールを提供し、AIガバナンスに重要な意義を持ちます。将来的には、検出効率の最適化や複数教師蒸留への拡張などが期待されます。