大規模言語モデル（LLM）は通常、固定された深さと順序で全層を一度だけ非再帰的に実行する前向き計算によって推論を行う。しかし、ICML 2026 に採択された論文「Skip a Layer or Loop It? Learning Program-of-Layers in LLMs」は、訓練を必要としない柔軟かつ動的な「program-of-layers（PoLar）」が広く存在することを明らかにした。本論文は Ziyue Li ら3名の著者によるもので、2026年6月4日に arXiv（番号 2606.06574、cs.LG カテゴリ）へ投稿され、先行研究 arXiv:2507.07996 を大幅に拡張した内容となっている。コードへのリンクも論文内で示されている。
研究では、事前学習済みの層をモジュールとしてまとめ、各入力に対して層をスキップしたりループ（繰り返し）したりすることで、カスタマイズされた実行プログラムを構成できることが示された。つまり、推論は必ずしも全層を順に通る必要はない。実験的な観察によれば、多くの入力に対しては、大幅に短いプログラム実行でも元のモデルと同等以上の精度が得られる。さらに、元の LLM が誤った予測を出した場合でも、より少ない層からなる代替プログラムによってその誤りを訂正できることが多い。これらの結果は、推論において標準的な前向き伝播以外にも複数の有効な潜在計算経路が存在することを示唆している。
PoLar を実用的に効率よく実現するため、著者らは軽量な PoLar 予測ネットワークを提案した。このネットワークは、各入力に対して実行プログラムを生成することを学習し、どの事前学習層をスキップし、あるいは繰り返すかを動的に決定する。人手による設計や固定ルールに依存する従来の動的深さ手法とは異なり、データ駆動型でサンプルごとの層実行計画を出力する点が特徴である。
数学的推論のベンチマークにおける実験では、PoLar は標準的な推論や従来の動的深さ手法と比較して一貫して精度を向上させ、しかも実行する層数が少ない場合が多いことが示された。これらの利点は分布外（out-of-distribution）評価においても維持された。
論文の結論は、固定深度の実行では LLM の潜在的な推論能力のごく一部しか捉えられていないというものである。層の実行プログラムを再編成することで、モデルの重みを再訓練することなく、より多くの推論能力を引き出しつつ推論コストを抑えられる可能性がある。なお、投稿履歴として、v1 は 2026年6月4日 17:59:58 UTC に提出され、全文は約 574 KB で、PDF、実験的な HTML、TeX ソースなどの形式で提供されている。