AIの進歩は本物か？4つの独立した指標が示す

近年、AIの進歩が本当に起きているのかどうか活発な議論が行われている。多くのベンチマークはすぐに飽和し、モデルが単にテスト対策を学習しているだけではないかという疑念もあった。しかし、4つの独立した長期的指標を分析した結果、2025年末にAIの能力が質的に飛躍したことを示す明確なシグナルが得られた。

第一に、METRが測定するソフトウェアエンジニアリングタスクの完了時間は、2024年3月のClaude 3 Opusが4分だったのに対し、2026年2月のClaude Opus 4.6は12時間以上のタスクを処理可能になった。第二に、TrackingAIのオフライン認知テストは公開されていないため、訓練データ汚染を回避している。IQスコアを「AIを超える人間の割合」に換算すると、2024年3月には90%以上の人間がAIより優れていたが、2026年6月には44人に1人だけがAIを上回る結果となった。第三に、「人類最後の試験（HLE）」は博士レベルの多分野問題で構成され、正答率は2025年5月の2.7%から2026年6月の53%に急上昇。これには200倍の計算リソースが必要だった。第四に、ARC-AGI-2は知識ではなく流動的な推論を評価する。GPT-4oとGPT-5は15ヶ月間9%程度で停滞していたが、2025年11月にGemini 3 Proが31%、Claude Opus 4.5が38%、12月にGPT-5.2が53%に達した。

これらの指標は異なる能力（タスク実行、流動的推論、認知能力、専門知識）を測定しているが、すべて2025年第4四半期という同じ時期に急上昇しており、AIの「ホッケースティック曲線」が確認された。

この急激な進歩の背後には、相互に強化し合う4つのメカニズムがある。第一に、事前学習効率の向上。Epoch AIによると、同じ能力を得るのに必要な計算量は約8ヶ月で半減しており、混合エキスパートモデル（DeepSeek V3など）が無駄を削減している。第二に、検証可能な報酬を用いた強化学習。プログラムで生成された数学やコードの問題により、無限の訓練データが得られる。DeepSeek R1は2025年1月にこの手法の威力を示した。第三に、ハーネスエンジニアリング。モデルそのものを変更せずに、システムプロンプト、ツール呼び出し、検証ループを改善するだけで性能が向上する。LangChainの事例では、GPT-5.2-Codexを固定したままTerminal Benchのスコアが52%から66%に上昇した。第四に、自己改善の好循環。Anthropicの報告によると、2026年5月時点でマージされたコードの80%以上がClaudeによって生成され、オープンエンドなエンジニアリングタスクでの成功率が6ヶ月で26%から76%に上昇した。

しかし、課題も存在する。データの壁：高品質な人間のテキストはあと6年ほどで枯渇すると推定され、合成データや強化学習が代替策だが完全ではない。信頼性のギャップ：METRの80%成功率時間軸は50%のものよりもはるかに遅く、モデルが「たまに成功する」から「確実に成功する」への壁は高い。ARC-AGI-3：2026年3月に公開された新しいテストはインタラクティブな推論を必要とし、すべての最先端モデルが1%未満のスコアにとどまっている。

結論として、AIの進歩は本物であり、複数の独立した指標と説明可能なメカニズムによって裏付けられている。しかし、今後の道のりは加速が続く可能性もあるが、プラトーに達する可能性もある。著者が言うように、これからの一年が非常に興味深い観察の対象となるだろう。