言語モデル向けの堅牢な嘘発見器は、モデル行動の監査、監視、事後調査に強力な手法をもたらす可能性がある。しかし、その評価には、モデルが発言とは反対のことを実際に信じていると検証できるテストベッドが不可欠だ。新たな論文は、既存の訓練済みモデル生物がこの要件を満たさないことが多く、過去の肯定的・否定的な検出結果の解釈を難しくしていると指摘する。
この問題に対処するため、研究者らは13の推論モデル生物を構築した。これらの隠れた信念は連鎖的思考（CoT）で検証され、未見のタスクにも一般化することが示されている。さらに、幅広い嘘を誘発する動機をカバーするプロンプト嘘テストベッド「Varied Deception」も導入した。これらのテストベッド上で、連鎖的思考判定器、logprob分類器、2つの活性化プローブという4つの検出器を評価した。活性化プローブには、フォローアッププローブを訓練する新手法「Did-You-Lie（DYL）」も含まれる。
プロンプト嘘に関しては、2Bから1Tパラメータまでの31のオープンウェイトモデルを対象に評価した結果、4つの検出器すべてがモデル能力の向上とともに性能が向上する正のスケーリングを示した。しかし、訓練済みモデル生物に切り替えると、活性化およびlogprobベースの検出器はすべて急激に性能が低下し、DYLが最も多くの信号を保持した。一方、連鎖的思考判定器だけは平衡精度0.82と強い性能を維持したが、これは検証プロセスがCoTで読み取れる信念を優遇するというアーティファクトの一部でもあると著者らは認めている。
結論として、現在の嘘発見器はモデルの信念に関する高信頼度の主張を支持できない。著者らは現状の限界に対処しうる研究方向を提案し、データセット、モデル生物、訓練済み検出器を公開している。本論文は12ページ、6図からなり、2026年6月10日に投稿された。分野は人工知能（cs.AI）である。