TheSequence意見#904：研究の時代は過大評価、AIエンジニアリングが勝利する

最近、Ilya Sutskever氏は現代の人工知能の歴史を簡潔にまとめました。同氏によれば、2012年から2020年頃までは研究の時代、2020年から2025年まではスケーリングの時代、そして現在は再び研究の時代に戻っている—ただし今回は「大きなコンピュータを伴って」です。

これは魅力的な時代区分ですが、すぐに疑問が生じます。

2026年のほぼすべての最先端モデルのリリースノートを開くと、アーキテクチャ図は驚くほど似ています。機械の中には依然としてTransformerが存在し、しばしばMixture-of-Expertsを経由しています。主な改善点は通常、別の場所にあります：より良いデータ、より長いコンテキスト、より強力な強化学習、合成タスク、ツール使用、メモリ、検証、適応型推論予算、エージェントオーケストレーションです。

これは新しい神経種の到来のようには見えません。F1レースのように見えます。車にはまだ4つの車輪とエンジンがあります。しかし、大きな進歩は空気力学、エネルギー回収、タイヤ化学、テレメトリ、ソフトウェア、ピット戦略からもたらされます。シャシーは重要です。その周りのシステムがレースを決めつつあります。

では、私たちは研究とエンジニアリングのどちらの時代にいるのでしょうか？

おそらくその両方です。研究の時代は戻ってきましたが、その研究の多くは今や産業規模のエンジニアリングとして表現されています。

「スケーリングは終わらなかった。それは逃げ出した」

この分野を食い尽くしたレシピ

さらに詳しく見てみましょう。Transformerの継続的な支配は停滞ではなく、プラットフォーム効果です。20世紀初頭に内燃機関が継続的に改良されたように、Transformer周辺のエンジニアリングの革新がその潜在能力を最大限に引き出しています。データ品質、トレーニングダイナミクス、推論効率の進歩は、アーキテクチャの革命よりも現在のAI能力の向上に大きく貢献しています。

実際、最も重要なブレークスルーのいくつかは、学習ループの再考から生まれています。人間のフィードバックからの強化学習、合成データ生成、適応型計算割り当ては、Transformerをよりスマートにしています。これらは代替ではなく、強化です。

したがって、エンジニアリングの価値を過小評価すべきではありません。研究はTransformerをもたらしましたが、実際の応用で勝っているのはエンジニアリングです。将来のAI歴史家は、この時期をエンジニアリングの時代と位置づけるかもしれません。基盤モデルがインフラとなり、差別化の優位性はシステムレベルの最適化から生まれるのです。