最近、arXivにループ型トランスフォーマー（Looped Transformers）における適応的深さに関する重要な研究が公開されました（論文ID: 2607.20519）。この研究は、Andrei Cristian Popescuらによって行われ、学習された停止ゲートと軌跡読み出しの相互作用を体系的に診断しています。ループ型トランスフォーマーは、共有リカレントブロックを繰り返し適用することでテスト時の計算量を増加させ、推論時に動的に計算深度を調整します。しかし、学習された停止目標は通常、単一の出口分布を推論時の停止規則と訓練時の各深さの損失重み付けの両方に使用します。これにより、出口選択と軌跡形成が絡み合い、ゲートは使用するリカレント状態を選ぶだけでなく、各中間状態の監視強度も決定します。その結果、適応計算性能の低下は、読み出し、誘導された軌跡、またはそれらの相互作用に起因する可能性があります。
研究者らは、軌跡-読み出しの観点から、モジュラー算術や二進パリティなどの制御された合成タスクと、大規模なOuro-1.4Bおよび2.6Bチェックポイント全体で調査を行いました。合成タスクは難易度を正確に制御でき、大規模モデルは発見の汎化能力を検証します。固定事前分布深さ監視（入力依存の停止ポリシーなしで軌跡を形成する手法）が、難易度を認識する軌跡を生成し、その中間状態が有用な停止信号を露出することを発見しました。例えば、二進パリティタスクでは、簡単なタスクの状態は早期に高い信頼度を示す一方、複雑なタスクでは遅れます。また、単純な事後信頼度読み出しが学習された線形ゲートやMLPゲートに匹敵または凌駕することが多いことも明らかになりました。
凍結軌跡上でゲートを適合させることで、失敗の原因が限定されたゲート表現力ではなく、主に共同ゲート訓練によって誘導された軌跡にあることが特定されました。具体的には、ゲートと軌跡が共同訓練されると相互に影響し、軌跡がタスク難易度を効果的に反映できなくなります。一方、固定軌跡上でゲートを訓練すると、容易に良好な性能に達します。Ouroの評価でも同じパターンが見られ、事前訓練されたポンダーゲートは競争力があるものの、一様にパレート最適ではありません。測定されたレイテンシにより、平均出口深さの削減が実際の推論時間節約につながることが確認され、これは実装にとって重要です。
この研究は、適応的深さをゲート学習のみではなく、軌跡形成と出口読み出しの共同問題として再定義し、先行研究でしばしば暗黙のうちにされていた区別を強調しています。この発見は、モデル選定、推論コストの最適化、製品能力の向上に重要な影響を与える可能性があり、将来の効率的な適応計算メカニズムの設計に新たな方向性を提供します。