シーケンス意見番号868：再帰が新しいスケーリング則である

現代のAI時代の大部分において、進歩は欺くほど単純なレシピに従ってきました。モデルを大きくし、より多くのデータで訓練し、より多くの計算を費やすことです。この公式はTransformer時代、基盤モデル時代、そして現在の大規模言語モデルの波を生み出しました。スケーリング則はこの分野にほぼ工業的なリズムを与えました。損失曲線はロードマップになり、計算予算は戦略になりました。フロンティアはしばしば一つの質問で説明できました：どれだけ大きくできるのか？

しかし、最近のAIにおける最も興味深い進歩は、直線的ではなくなりつつあります。それはもはや、1回のパスでより良い答えを出すための大規模モデルを構築することだけではありません。ますます、フロンティアは振り返り、修正、検索、シミュレーション、批評、改善できるモデルやシステムに関するものになっています。重要な計算の単位は前方伝播からループへと移行しています。

このシフトは挑発的なアイデアを示唆しています：再帰が次のスケーリング則であるかもしれない。

再帰は、モデルがその出力に対して反復し、自身の生成内容を内省し、複数の経路を探索することを可能にします。このアプローチは、推論、コード生成、エージェントコンピューティングなどの分野ですでにブレイクスルーを生み出しており、指数関数的に増加するパラメータ数に依存していません。その代わりに、推論中の計算の繰り返し適用に依存しています。

もし再帰が確かに新しいスケーリング則になるなら、AI研究の焦点は、より大きなモデルを訓練することから、より良いループ——推論中に追加の計算を効果的に活用する構造——を設計することへとシフトするでしょう。これは進歩の測定方法を根本的に変える可能性があります：次に10倍のパラメータを持つモデルがいつリリースされるかではなく、効果的に自己改善できる新しいアーキテクチャがいつ登場するかを見ることになるでしょう。

この意見記事は、AI進歩の次のフェーズが過去とは異なる可能性があることを思い出させます。スケーリング則は消えたわけではありませんが、再帰などの原理によって補完され、強化されています。この新しい領域を探求するにつれて、ループの計算価値が最も重要な指標になるかもしれません。