モデル選択のためのベイズ風洞

大規模言語モデル（LLM）の核となる能力の一つは、不確実性下での推論です。これまでの研究で、トランスフォーマーは固定された仮説クラス内で正確なベイズフィルタリングを実行できることが示されていましたが、より根本的な問題が未解決でした：彼らはベイズモデル選択、すなわちデータから正しい仮説クラスを特定できるのでしょうか？この問いに答えるため、arXiv:2607.19379の論文は「モデル選択ベイズ風洞」と名付けられた制御された実験環境を提案します。この環境では、仮説クラス上の真の事後分布を解析的に計算できます。

研究者らは、固定点自由対合（f(f(x))=xを満たす純粋な関係関数）をテストケースとして利用しました。280万パラメータのトランスフォーマーモデルは、整数および不透明記号の両方のトークンにおいて、ベイズ最適解とのエントロピー差がわずか0.01ビット（3つのランダムシード）という性能を達成しました。この結果は非ネスト比較にも拡張されました：対合と3サイクル（どちらも他方の部分集合ではない）の選択において、モデルの事後平均絶対誤差は0.001未満であり、単純さや部分集合バイアスを超えた真のモデル選択を示しています。

しかし、判別統計量に算術演算が関わる場合、状況は一変します。モジュラー加算（回転）やモジュラー乗算（f(x)=cx mod p）のタスクでは、モデルは整数トークンを使用した場合には成功するものの、不透明記号を使用した場合には完全に失敗します。この境界は非常に頑健で、モデルパラメータを280万から3億1600万（112倍）に拡大しても消失しません。対照実験により、重要な要因は記号の安定性であることが確認されました：固定のラベル付けを施した不透明トークンは成功する（エントロピー平均絶対誤差0.009ビット）ことから、整数の同一性ではなく安定した意味が回路のコンパイルを可能にすることが示されました。さらに、ヘッダーサブタスク診断により、失敗はヘッダー反転と算術の組み合わせ部分に局在化され、ヘッダー解析自体にはないことが分かりました。

最後に、研究者らは最先端の汎用LLM（GPT-4クラスのモデルなど）を同じタスクでテストしました。これらのモデルは定性的なベイズ推論行動を示すものの、事後確率の較正には約55倍の大きなギャップがあることが判明しました（損失のあるプローブによる測定のため、値は方向性を示すものであり正確ではありません）。この結果は、現在の汎用LLMが専用の小型モデルと同等のベイズモデル選択能力をまだ持っていないことを示しています。

この研究は、モデル選択におけるトランスフォーマーの大きな可能性と重要な限界を明らかにし、より信頼性が高く解釈可能なAIシステムの構築に向けた重要な洞察を提供します。風洞手法は、将来の研究のための標準化された評価枠組みを提供するものです。