検証コストが安い場所で、AIは超人になる

AIの能力分布は一見すると規則性がないように見えるが、背後には単純なルールがある。AIは競技プログラミング、形式数学、ソフトウェアの脆弱性発見、ボードゲームではすでに超人級だ。一方、転職の勧め、交渉の空気、美的センスについては「まあまあ」に留まる。直感的な説明は、前者は簡単で後者は難しいというものだが、それは間違っている。本当のルールは「答えの検証が安いところではAIは超人になり、検証が高いところでは平凡に留まる」というものだ。重要なのは実行ではなく、チェックなのである。

なぜか。訓練ループには信号が必要だからだ。数年間、良いモデルを作るレシピは「テキストを増やし、計算資源を増やす」だけだった。しかし、ウェブは枯渇に近づいている。世界には約10^14トークンの高品質な人間テキストがあるとされ、モデルはそのうち約10^13トークンを消費した。残る一桁は低品質部分だ。これを受けて、フロンティアは合成データ、検証可能な成果に対する強化学習、自己対局へと軸足を移した。この転換はすべての領域に中立だったはずがない。業界全体が「答えが正しいかどうかを安く知る方法」という、極めて偏在した資源に依存するようになった。

最も分かりやすい対比は二つのループだ。一つ目はミリ秒ループ。モデルがコードを書き、ユニットテストが通り、合否が即座に分かる。コストはほぼゼロで、人間は不要で、一日に数百万回、夜通し回せる。二つ目は半年ループ。モデルがキャリア助言を出し、その良し悪しを知るには半年待ち、さらに他の要因から助言の効果を切り分けねばならない。同じモデル、同じ予算でも、左は朝食後から何百万回も練習を積み、右は時計のそばで待ち続ける。不可能なループを修正する賢いアーキテクチャは存在しない。

検証コストで世界を並べると、速い側には形式数学、テストつきコード、構造化検索、勝敗条件が明確なゲーム、自己検証可能なサイバー攻撃が並ぶ。遅い側には実験生物学、臨床判断、交渉・審美眼、社会科学・政策、特殊作物品種の収穫やラストワンマイル配送が来る。同じロボットでも、坂を下るか石を押し上げるかは、仕事がどちらの側にあるかだけで決まる。判断を下すのはモデルの頭脳ではなく、答えを評価する仕組みの価格である。

「モデル自身が訓練データを作れる」という反論はもっともだが、未処理の合成データはモデルを悪化させる。成功する合成データは常に、検証済みのサンプルだけを残すフィルターを備えている。自己対局、証明済み数学、テストに通るコードがその典型だ。つまり合成生成は検証からの逃げ道ではなく、検証と直列につながった増幅器である。検証が安ければ訓練信号を何倍にも増幅し、検証が高ければほぼ何も増幅しない。

暗い部分は、遅い領域の進歩が熟練した判断に依存していることだ。誰か経験者が出力を見て良いか悪いか判断しなければならない。しかし熟練判断はまさに自動化によって失われつつある。熟練者になるには十年間、最初に自動化される仕事をジュニアとしてやる必要があるからだ。遅い領域は、移行が根本から断ち切りつつある資源を燃料にしている。このループは逆方向に回っているため、両者のギャップは縮まる前に広がるだろう。

この地図は三つの誤読に注意して使うべきだ。一つはベンチマークの進歩を領域の進歩とみなすこと。司法試験は採点が安いから存在するのであって、実際の法曹業務とは違う。二つ目は領域を平均化すること。医学は画像診断では速く、臨床判断では遅い。平均して「中程度」にすると、デプロイの道筋が消える。三つ目は雇用予測に読み替えること。ソフトウェアの例が示すように、超人級のコード生成は開発者の需要を増やし、雇用全体を増やすこともあり得る。

遅い側から抜け出す近道は、より安い正解データを買うことだ。自動化実験室は実験結果を機械可読で報告し、計測機器を備えたロボティクスは公に存在しなかった相互作用データを作り、成果連動契約は顧客の実際の結果をラベルにする。ロボティクスが遅れているのは、操作に関するインターネットが存在しないからだ。テキストやコードには無料の公開コーパスがあったが、物理的な相互作用には空っぽの部屋と一つの手袋しかない。

この地図を壊しうるのは、学習された検証機構だけだ。モデルがソフトな領域にとって信頼できる検証器を作り、少ない人間ラベルから正しく汎化するようになれば、直列配線は切れて増幅器は開ループになる。高コスト領域の遅れは消え、表全体が再構成される。ただし、評価ではなく本番の深さで見るべきだ。デモで印象づける検証モデルは何の証明にもならないが、法的リスクの間に自社を置く企業が採用する検証モデルは信頼に値する。

個人的な結論は短く、少し居心地が悪い。安いスコアボードのある仕事では、数年以内に自分より速い何かがそのボードを走らせ、熟達の市場価値は計算コストに向かって崩壊する。安いスコアボードのない仕事は安全だが、その安全性は、自分が優れていることを証明しにくいという別のキャリア問題と常に表裏一体だ。