測量與緩解大語言模型中的毒性：一項全面的複製研究
這項複製研究評估了一種稱為DExperts的推理時毒性緩解技術，該技術無需重新訓練模型。在顯式毒性基準上實現了100%的安全率，但在隱式仇恨言論上下降至98.5%，並且引入了約10倍的延遲懲罰。
大語言模型（LLM）在訓練過程中從網路規模語料庫中吸收毒性模式，導致“毒性退化”——即使無害提示也可能觸發有害輸出。這一問題對實際部署構成重大風險，因此需要在不損害模型實用性的前提下，採取有效的緩解策略。
一項新的複製研究系統評估了DExperts（解碼時專家）方法，這是一種推理時緩解技術，透過引導生成過程來減少毒性，而無需重新訓練模型。研究分為三個階段：首先，使用RealToxicityPrompts基準在標準GPT-2模型上建立毒性測量基線；其次，實施DExperts並評估其對顯式毒性的緩解效果；最後，利用對抗性ToxiGen資料集對隱式仇恨言論進行壓力測試。
實證結果表明，DExperts在顯式毒性基準上實現了近乎完美的安全率（100%），但在對抗性隱式仇恨言論面前表現出脆弱性，安全率降至98.5%。此外，該方法引入了顯著的延遲代價——每次生成從0.2秒增加到2.0秒，約為10倍的懲罰，這對即時部署場景構成了挑戰。
這項研究為人工智慧安全領域做出了貢獻，凸顯了顯式與隱式毒性緩解之間的魯棒性差距。研究者強調，需要開發更復雜的方法來泛化多種仇恨言論模式，同時避免過高的計算成本。該研究由Mokshit Surana等人進行，論文於2026年5月13日提交至arXiv，主題涵蓋計算與語言（cs.CL）和機器學習（cs.LG）。研究結果對模型選型、推理成本、產品能力和評測基準均具有潛在影響。