大規模言語モデルの幻覚検出は、7B〜70Bの研究用モデルで評価された手法が主流であり、それらは豊富なサンプリング予算と完全一致やROUGEによる正解ラベルを前提としている。しかし、実務者がオンデバイスに実際に展開する小型モデル——Phi-3-mini、Llama-3.2-3B-Instruct、Qwen2.5-3B-Instruct、Gemma-2-2B-Instructなど、通常4ビット精度で動作するもの——は、この証拠基盤の外側に位置している。このギャップは実務的な疑問を提起する。大規模研究モデルで得られた検出器のランキングは、小型量子化モデルでも維持されるのだろうか。
この問いに答えるため、Shubhra MittalとGaurav Naresh Mittalは実務者向け監査論文(arXiv:2611.17339v1)を発表した。この論文は単一のColab T4 GPU上で再現可能になるよう設計されている。研究では3つのパラダイムにわたる4つの検出器を検討した。長さ正規化トークンマージン校正、語彙n-gramベースライン、そして2つのサンプリングベース一貫性手法——セマンティックエントロピーとSelfCheckGPT-NLIである。これらの検出器は、Llama-3.2-3B-InstructとQwen2.5-3B-Instructという2つの小型オープンインストラクションチューニングモデルで評価され、両モデルは4ビットNF4量子化でロードされた。評価データセットはクローズドブックのTriviaQAである。
最も注目すべき発見はモデル間のランキング転移に関するものである。AUROCで検出器をランク付けすると、ランキングは2つのモデル間で実際に逆転し、Spearman rhoは-0.80、Kendall tau-bは-0.667であった。つまり、Llama-3.2-3B-Instructで最良の検出器がQwen2.5-3B-Instructでは最悪となり、その逆も同様である。これは実務者にとって重要な警告である。検出器の選択は、論文のベンチマークモデルから別のモデルへ転移しない可能性がある。
第二の重要な結果は、安価な語彙n-gramベースラインが、ブートストラップ95%信頼区間の下で、両モデルにおいてサンプリングベースの一貫性検出器と統計的に区別できないことである。セマンティックエントロピーやSelfCheckGPT-NLIのようなサンプリングベース手法は複数回の生成を必要とし、特にリソース制約のあるハードウェアでは計算コストが高い。単純な語彙ベースラインが同等の検出性能を達成できるなら、オンデバイス展開において高価なサンプリングは正当化されないかもしれない。
検出器の比較に加えて、著者らは方法論的貢献も提示している。彼らは、TruthfulQA-Generationの標準的なトークン重複から多肢選択正解へのラベラーが、両モデルの全4検出器に対して偶然水準のAUROC(0.46–0.59)を生み出すことを示した。しかし、同一パイプラインの下で、同じ検出器はTriviaQAで0.69–0.89のAUROCに達する。これは検出器の失敗ではなく、ラベラーの失敗を示している。このようなラベラーに依存する実務者は、検出器が機能していないと誤って結論する可能性がある。
著者らは再現性を支援するために、ハーネス、プロンプト、項目ごとのスコアを公開している。彼らは検出器の選択を、リソース制約のあるオンデバイスハードウェアに展開する際の誤り率配分の公平性問題として明確に位置づけている。この視点は、平均的な検出性能の最大化から、異なる検出器が異なるモデルや入力に対して誤りをどのように配分するかを理解することへと焦点を移す。これは、現実の制約下で小型言語モデルを展開する実務者にとって重要な考慮事項である。