基于参考的LLM蒸馏检测方法
研究者提出了一种基于参考的成员推断方法，用于检测大型语言模型是否从其他模型蒸馏而来。该方法通过比较学生模型对不同候选教师模型输出的偏好，结合早期检查点，能够以近完美精度识别教师模型，并适用于未知蒸馏流程和开放世界场景。
近日，一篇发表在arXiv上的论文提出了一种新颖的参考式蒸馏检测方法，旨在识别大型语言模型（LLM）是否从其他更强大的模型蒸馏而来。模型蒸馏是一种常见的性能提升手段，即使用第三方强模型的输出训练目标模型，但这可能引发不公平竞争和政策违规问题。该研究通过引入参考式成员推断，解决了在孤立情况下难以识别教师模型的难题，前提是能够获取模型及其早期世系检查点。
该方法的核心在于比较学生模型对不同候选教师模型输出的偏好程度，以早期检查点为基准，从而确定最可能的教师并检测蒸馏证据。为应对未知的蒸馏流程（如隐藏提示），研究者还提出了从模型输出中推断代理提示模板的技术。此外，他们识别出o1/o3模型特有的字形级信号，进一步增强了检测能力。
评估蒸馏检测面临现代模型世系高度纠缠的挑战。为此，研究团队设计了混合评估方案，涵盖受控蒸馏实验和真实世界模型。在单教师蒸馏场景中，无论底层蒸馏流程是否已知，方法均能近乎完美地恢复出真正的教师模型。他们还引入了用于教师归属和蒸馏检测的统计检验，并将框架扩展至开放世界设定，即候选教师中可能不包含真实教师。
将方法应用于当代模型后，研究发现了关于QwQ、DeepSeek-R1和GPT-OSS之间潜在蒸馏关系的新证据。该工作为模型溯源和公平性审计提供了有力工具，对AI治理具有重要意义。该方法不仅适用于学术研究，还能帮助企业和监管机构检测模型是否未经授权使用了其他模型的输出，从而维护公平竞争环境。未来，研究团队计划进一步优化检测效率，并探索多教师蒸馏等更复杂场景下的检测能力。