测量与缓解大语言模型中的毒性：一项全面的复制研究
这项复制研究评估了一种称为DExperts的推理时毒性缓解技术，该技术无需重新训练模型。在显式毒性基准上实现了100%的安全率，但在隐式仇恨言论上下降至98.5%，并且引入了约10倍的延迟惩罚。
大语言模型（LLM）在训练过程中从网络规模语料库中吸收毒性模式，导致“毒性退化”——即使无害提示也可能触发有害输出。这一问题对实际部署构成重大风险，因此需要在不损害模型实用性的前提下，采取有效的缓解策略。
一项新的复制研究系统评估了DExperts（解码时专家）方法，这是一种推理时缓解技术，通过引导生成过程来减少毒性，而无需重新训练模型。研究分为三个阶段：首先，使用RealToxicityPrompts基准在标准GPT-2模型上建立毒性测量基线；其次，实施DExperts并评估其对显式毒性的缓解效果；最后，利用对抗性ToxiGen数据集对隐式仇恨言论进行压力测试。
实证结果表明，DExperts在显式毒性基准上实现了近乎完美的安全率（100%），但在对抗性隐式仇恨言论面前表现出脆弱性，安全率降至98.5%。此外，该方法引入了显著的延迟代价——每次生成从0.2秒增加到2.0秒，约为10倍的惩罚，这对实时部署场景构成了挑战。
这项研究为人工智能安全领域做出了贡献，凸显了显式与隐式毒性缓解之间的鲁棒性差距。研究者强调，需要开发更复杂的方法来泛化多种仇恨言论模式，同时避免过高的计算成本。该研究由Mokshit Surana等人进行，论文于2026年5月13日提交至arXiv，主题涵盖计算与语言（cs.CL）和机器学习（cs.LG）。研究结果对模型选型、推理成本、产品能力和评测基准均具有潜在影响。