新方法旨在保护儿童免受非法AI生成内容的侵害

随着生成式人工智能的普及，许多开源模型现在可以在线获取，任何人都可以将其适配到特定任务中，例如生成某种艺术风格的产品渲染图。然而，这些模型也可能落入不法分子之手，他们优化模型以生成非法内容，如仇恨言论或儿童性虐待材料（CSAM）。这一问题日益严重——国家失踪与受虐儿童中心在2025年收到了超过150万份关于AI生成CSAM的报告，而2024年这一数字为6.7万份。

工程师通常通过提示模型并检查其输出来测试AI的有害能力，但对于CSAM，这种方法是不可能的，因为在美国生成此类内容是非法的，无论意图如何。为避免这一困境并提高AI安全性，由麻省理工学院研究生Vinith Suriyakumar和副教授Ashia Wilson及Marzyeh Ghassemi领导的科学家团队，与儿童安全非营利组织Thorn合作，开发了一种新的审计方法，可以在不提示模型的情况下确定模型是否能够生成CSAM。

他们的技术检查模型内部工作方式如何被调整，但从不生成输出。通过检查隐藏表示，该方法可以可靠地推断模型是否已被专门化以生成有害图像。在测试中，审计程序以100%的准确率识别出被专门用于生成CSAM的模型变体。托管平台可以使用该技术标记不安全的模型，并迅速将其移除或防止其被上传。

“这为托管开源模型的平台和执法机构开辟了一条新途径，可以实际测试模型是否能够生成CSAM。在此之前，我们无法测量这一点。这是一个巨大的盲点，一些人正在利用它。现在，我们可以解决一个正产生严重负面影响的AI安全问题。”Suriyakumar说。

该技术利用了低秩适配（LoRA）算法。LoRA通过微调使模型更高效地适应特定任务。研究人员不是关注输出，而是针对LoRA算法在微调期间所做的修改。他们的技术探测这些修改（称为LoRA适配器），以确定模型是否已被专门化用于有害能力，而不生成输出。他们采用一种称为高斯探测的方法，向模型输入一组随机数据点，并分析模型在其多层内部结构中如何操纵这些数据。

“我们从不运行模型到最后，也不提示模型，因此从不生成图像。”Suriyakumar解释道。研究人员在模型内部结构的多个时间点捕获这些修改，并取其平均值以总结LoRA适配器如何改变模型的计算。他们发现这些反应是模型如何被专门化的强信号。他们在三种类型模型的变体上测试了该方法，并将结果与已知生成CSAM、其他有害图像和安全内容的LoRA适配器的真实数据进行了比较。该方法在识别被用于生成CSAM的模型方面达到了100%的准确率。

“AI带来了大量儿童安全问题，这些都是需要解决的现实问题。许多儿童正受到AI深度伪造的伤害。我们已经证明高斯探测可以成为一个非常有用的工具，我们希望研究界能更多地关注这个问题。”Wilson说。

重要的是，该技术具有可扩展性且实施成本相对低廉。由于每月有数千种模型变体在线发布，可扩展性是帮助审计人员在有害调整广泛传播之前将其移除的关键。高斯探测也比其他审计技术更稳健，因为恶意行为者需要仔细改变基础模型的内部工作方式才能逃避检测。

未来，研究人员希望在其更大范围的模型变体上评估该技术，并探索高斯探测是否能够检测基础模型在调整之前的有害能力。“现在我们有一种技术方法可以部分解决这一担忧。这一合作投入了大量精力，使我们能够解决一个真正困难的问题，这个问题正在伤害全国乃至世界各地的许多儿童。希望我们能在这一领域产生变革性的影响。”Ghassemi说。

这项工作部分得到了Bridgewater AIA Labs Research Fellowship的支持。