最近、arXivに投稿された研究論文（arXiv:2607.26192）は、機械学習分野における一般的な誤解を明らかにしました。入力に依存するコントローラ係数は、しばしば動的推論や計算効率の向上の証拠として誤って解釈されます。Zongfei Liらによるこの研究は、動的パラメータ化と動的推論の概念を区別し、新たな監査手法であるFrozen-Controller Auditing（FCA）を提案しています。
論文は、入力依存の係数が実際には3つの異なる特性（係数の変動、係数の入力への割り当てに対する凍結モデルの依存性、および条件付き実行）を混同していると指摘します。これらのうち2番目の特性を正確に測定するために、FCAが開発されました。この手法では、まず未摂動の軌跡に沿って完全な係数テンソルをキャッシュし、次にコントローラを無効にして、入力をまたいだ再割り当て、トークンのシャッフル、および独立したキャリブレーションセットから推定された静的プロファイルを用いて凍結モデルをリプレイします。係数が介入前にキャッシュされているため、リプレイ中の性能変化は、摂動された隠れ状態でコントローラを再計算することによるフィードバックなしに、割り当て依存性を直接測定します。
実験では、独立に訓練された7つの76MパラメータのFeatureGate Transformerと3つの504Mモデルを使用しました。結果として、静的レイヤー別プロファイルは、Correct-to-GlobalMean性能ギャップのそれぞれ98.70％と99.43％を保持しました。層の同一性は係数の分散の87％から96％を説明しました。注目すべき点は、FeatureGateが動的パラメータ化を採用しているにもかかわらず、すべてのTransformerブロックを実行し、その実測推論速度はDenseモデルよりも30.8％遅かったことです。公開されているMUDDPythia-1.4Bチェックポイントでは、入力間の再割り当てとトークンのシャッフルにより、負の対数尤度がそれぞれ1.9067と2.9637増加しました。これは、モデルがコンテンツに基づく層間割り当てに強く依存していることを示しています。MUDDPythiaもすべてのTransformerブロックを実行します。
これらの結果は、動的パラメータ化だけでは動的推論を確立せず、機能的な動性も計算削減を保証しないことを強く示唆しています。研究は、動的モデルに関する主張において、係数の変動、凍結モデルの機能的依存性、および実際の実行状況を別々に報告することを推奨しています。この研究は、モデル評価と推論最適化のための重要な方法論的ガイダンスを提供し、研究者やエンジニアに表面的な動的特性に惑わされないよう警告しています。