大規模言語モデル（LLM）が安全-criticalなアプリケーションにますます導入される中、堅牢なコンテンツモデレーションが不可欠になっています。新たにarXivに公開された論文では、14のオープンソース安全ガードモデルを、NIST AIリスクフレームワークの8つの安全カテゴリにわたる79,331サンプルのキュレーションされたベンチマークで包括的に評価しています。このベンチマークは4つの多様なデータセット（HarmBench、StrongREJECT、RealToxicityPrompts、BeaverTails）を集約し、安全性に関連するコンテンツ（暴力、ヘイトスピーチ、ハラスメント、性的コンテンツ、自殺/自傷、冒涜、脅迫、健康に関する誤情報）のみに焦点を当てるようにフィルタリングされています。
研究チームは、安全アプリケーションにとって再現率が重要な指標であると指摘しています。有害なコンテンツを見逃すことは、誤検知よりも大きなリスクをもたらすからです。評価の結果、驚くべきことが明らかになりました。パラメータ数わずか4BのQwen Guardが最高の再現率（83.97%）を達成した一方、Llama Guard（12B）やGPT-OSS Safeguard（20B）のような大規模モデルは保守的な動作を示し、不安全なコンテンツの最大75%を見逃しました。これは、モデルサイズが安全検出性能と相関しないこと、そして汎用ガードモデルが特化型モデルよりも優れていることを示しています。
これらの知見は、本番環境で安全ガードモデルを選択する際の実用的な指針を提供します。研究は、安全ガードを展開する際に、より大きなモデルが必ずしも安全であると仮定するのではなく、実際の再現率などの指標に基づいて評価すべきであると強調しています。この論文はReetu Raj Harshら3名の著者によって執筆され、2026年4月10日に提出されました。計算と言語（cs.CL）分野に属し、人工知能（cs.AI）およびソフトウェア工学（cs.SE）にも関連しています。