Dharma AI をフォローしている方なら、専門化が効率的な AI システムの重要な原則の一つであり、コスト、性能、信頼性、自律性に影響を与えることをご存知でしょう。Goldfeder、Wyder、LeCun、Shwartz-Ziv による 2026 年の研究ほど、この主張を厳密に論じた論文はほとんどありません。本稿では、『AI Must Embrace Specialization via Superhuman Adaptable Intelligence』のアイデアを探求し解釈します。この論文の収束的議論——最適化理論、生物学、組織経済学、機械学習を横断する——は、証拠構造とその後の議論の知的基盤の両方を提供します。ここでの枠組み、構成、編集統合は Dharma によるものです。
従来の期待は合理的です。AI システムの能力が向上するにつれ、より汎用的になるべきだというものです。高い能力と広い適用性は自然な組み合わせに思えます——より多くのリソース、より良い手法、拡大された学習は、より多くのタスクを自信を持って処理できるシステムを生み出すでしょう。しかし、実際に現れるパターンは異なります。特定の分野で最も顕著な成果を上げるシステムは、その分野に最も特化したシステムである傾向があります。タンパク質構造予測のブレークスルーは、単一の科学タスクのために設計されたシステムから生まれました。AI の歴史的マイルストーンを注意深く見ると、それらは汎用性の拡大ではなく、集中的なドメイン特化を反映しています。
このパターンは繰り返し現れます。異なる分野、異なる時代、ほとんど共通点のないアーキテクチャ選択を超えて。これほど一貫したパターンは共通の原因を示唆します——その原因は AI 研究自体に由来するものではありません。
1997 年、Wolpert と Macready は、AI アーキテクチャの議論でほとんど語られないことを証明しました。それは、すべての可能な問題において他のすべてのアルゴリズムを凌駕する単一の汎用最適化アルゴリズムは存在しないということです（Wolpert & Macready, 1997）。証明は数学的であり、哲学的なものではありません。学習器が直面するすべての conceivable な問題を平均すると、すべてのアルゴリズムは同等に良い——そして同等に悪い——パフォーマンスを示します。ある問題分布で利得を得たアルゴリズムは、他の分布では必ず譲歩します。パフォーマンスは再分配され、倍増されるわけではありません。
実用的な含意は直接的です：「アルゴリズムが勝つのは、それが対象問題に適合しているからです」（Goldfeder et al., 2026）。定理は汎用性が不可能だとは言っていません——それは汎用性がパフォーマンス上のアドバンテージではないと言っているのです。優れたパフォーマンスへの一貫した構造的経路は集中です：広さを適合性と交換することです。
有限リソースが考慮されると、これはさらに明確になります。現実のシステムはすべて制約の下で動作します——有限の計算能力、有限のデータ、有限の開発時間。有限のエネルギーを考えると、利用可能なリソースを有限のタスクセットの学習に振り向けるアプローチは、同じリソースを無制限の範囲に分散させるアプローチよりも優れたパフォーマンスを発揮します。算術は容赦ありません：タスクセットが制限なく拡大するにつれて、タスクごとに利用可能なリソースはゼロに近づきます。有限リソースの下では、普遍的なカバレッジと意味のあるパフォーマンスは直接対立します。
定理が示す結論は、汎用性が悪いということではありません。それはより狭く、より実用的です：論文が述べるように、「普遍的な汎用性は理論的な概念ですが、実際的には神話です」（Goldfeder et al., 2026）。現実の制約と接触して生き残るのは、すべてをやろうとするシステムではなく、そのターゲットに適合するシステムです。
数学はこれを予測として確立し、好みとしてではありません。この予測が最適化理論の外で成り立つかどうかは別の問題です。
他の二つの領域は、最適化理論が名前を与える前に同じ予測に到達していました。
論文が生物学のケースを説明するように：あるニッチでのパフォーマンス向上は、他の場所でコストを伴います。ジェネラリストは多くの環境に適した特性を持ちますが、どの環境にも最適ではありません——能力が広く分散しすぎて、特定の条件で支配的になれません。トレードオフなしのパフォーマンス向上はありません；ある能力に投資されたリソースは別の能力には利用できません。自然選択は、すべての可能な環境での均一なカバレッジに最適化されたデザインよりも、局所的な条件にマッチしたデザインを好みます。生存して繁殖する生物は最も汎用的なものではなく、最も特化してマッチしたものです。進化的タイムスケールで蓄積された結果は、ジェネラリストが支配するのではなく、スペシャリストがニッチを埋めることです。論文が述べるように：「専門化は生物学の偶然ではありません。それは、限られたリソース、競合する目的、および進化的に関連する少数の課題でのパフォーマンスを報酬とする環境の予測可能な結果です」（Goldfeder et al., 2026）。
競争市場は異なる手段で同じダイナミクスに従います。パフォーマンスのしきい値を満たさない組織や戦略は排除されます——絶滅ではなく、撤退、資金喪失、より適合した代替品による置き換えを通じて。競争は選択メカニズムとして機能します：効果的な戦略を増幅し、非効果的なものを排除します。そのメカニズムは生物学的選択と何の共通点もありません——遺伝、突然変異、進化的タイムスケールはありません。選択の単位は生物ではなく、組織、製品、戦略です。しかし、構造的な圧力は同じです：有限リソース、パフォーマンス要件、そして重要で卓越するには広く分散しすぎたエンティティの体系的な除去。パフォーマンス基準が明確で一貫している場合、集中した能力は分散した能力を凌駕します。
進化と市場はまったく異なるメカニズムで動作します——異なるタイムスケール、異なる選択単位、異なる遺伝メカニズム。しかし、両方ともリソース圧力の下で同じ結果を生み出します：適合性が広さに優先します。定理はこれを予測します。生物学と市場は独立にそれに到達します。第三の領域がまったく異なる手段で同じ発見に到達するとき、そのパターンは定理のように見えなくなり、制約されたシステムがどのように振る舞うかについてのより一般的な何かのように見え始めます。
同じパターンが機械学習内部でも現れています——最適化理論から導かれたのではなく、システムを構築し、何がそれらを改善するかを観察した蓄積された経験から到着したものです。
最も明確な形は負の転移です：複数のタスクで訓練されたシステムが、それらのタスクが協力するのではなく競合するために、測定可能なパフォーマンス低下を被ることです（Ruder, 2017）。タスクが構造を共有する場合、共同訓練は役立ちます。しかし、タスクが表現能力を競合したり、訓練中に相反する勾配を課したりすると、個々のタスクのパフォーマンスは専用システムが達成するレベルを下回ります。広さからの利益が深さへのコストになります。それは、互いに拮抗するタスク間で有限容量を分割した文書化された結果です。スペシャリストはそのような競争に直面しないため、このコストを支払いません。
フロンティアモデルのアーキテクチャは異なる形式の証拠を提供します。Mixture-of-Experts システムは、すべてのパラメータにわたる均一な汎用性ではなく、各入力を専門化されたサブネットワークにルーティングすることで広さを実現します——異なるタスクに対して異なるエキスパートを活性化します。論文の著者はこれを構造的な譲歩と読みます：汎用を意図して設計されたシステムが、内部で専門化を回復することで結果を達成している。これは議論された解釈であり、実証された定理ではありません——これらのアーキテクチャは計算効率のために設計されており、それらが汎用性の限界について示唆することは、述べられた意図ではなく合理的な推論です。しかし、それは注目に値します：最も有能な汎用システムは、専門システムが設計上行うことを内部で実行することによってそのパフォーマンスに到達します。
最も明確な歴史的例は同じ論理に従います。AlphaFold は、特定のタスクに特化したアーキテクチャと訓練選択でその特定のタスクをターゲットにすることにより、タンパク質構造予測で段階的変化を達成しました（Jumper et al., 2021）。その利益はより広いカバレッジではなく、より狭い焦点から来ました。論文は AlphaFold を典型的な例として使用しています——すべての専門システムが同等の利益を達成する証拠としてではなく、メカニズムの異常に明確な図解として。そのメカニズムは繰り返し現れています：論文が指摘するように、AI マイルストーンの歴史は、結果が汎用知能のデモンストレーションのように見えても、しばしば広範な能力ではなく集中的なドメイン特化を反映しています。
三つの異なる場所。三つの異なるメカニズム。同じ発見。
AI 研究で最も頻繁に引用される観察の一つに触れずして、この図は不完全でしょう。Sutton の「苦い教訓」は、ドメイン知識に依存する手法は計算をスケールする手法に一貫して凌駕されることを主張します（Sutton, 2019）。表面的には、これは専門化の議論を複雑にするように見えます：もしスケールと汎用性が勝つなら、専門化はリソース制約の下での有用なヒューリスティックに過ぎず、計算が安くなればその制約は緩和されるでしょう。
この反論は二つの異なる概念を混同しています。ドメイン知識とは、手動でコード化された特徴、工学的な事前分布、特定の分野に対する洞察をシステムに与えるために設計されたルールを指します。「苦い教訓」はこれを対象としています——そしてそれは正しいです。明示的なドメイン知識をコード化したシステムは、スケールが増すにつれて一貫して凌駕されてきました。
ドメイン専門化は異なります：システムのリソース、アーキテクチャ、訓練を広く分散させるのではなく、限定されたタスクセットに向ける決定です。これはドメインに関する知識のコード化ではありません。それは範囲についての決定です。
論文はその違いを正確に描き出しています：
「ドメイン知識の有用性の低下は、ドメイン専門化の有用性とは異なります。スケーリングが進むにつれて、タンパク質フォールディングを行うシステムを構築するために必要なタンパク質知識は少なくなりますが、そのようなシステムは依然としてタンパク質に特に焦点を当てることで利益を得ます。」（Goldfeder et al., 2026）
スケーリングはシステムがデータから学べるものを変えます。それは、有限のタスクセットにリソースを集中することが、無制限の範囲に分散することより優れているかどうかを変えません。「苦い教訓」と専門化の議論は異なる次元で動作します——一つは知識がどのように獲得されるべきかを記述し、もう一つはシステムが何に向けられるべきかを記述します。両方は同時に真であり得ます。スケーリングはシステムが学習するメカニズムを変えます；それは適合性が広さより価値があるという制約を解消しません。
四つの分析伝統にわたって、同じパターンが異なる経路を通じて現れました。これは説明を必要とする偶然ではありません。これが証拠です。
有限リソースが選択圧に直面するとき——最適化問題、生態系、市場、または訓練実行において——適合性は一貫して広さを打ち負かします。特定のメカニズムは異なります。タイムスケールは異なります。選択単位は異なります。しかし、構造的ダイナミクスは同じであり、同じ結果を生み出します。
定理は生物学でこのパターンを引き起こしません。生物学は市場でそれを引き起こしません。どちらも機械学習でそれを引き起こしません。それらはすべて同じ根本的な制約に直面しています：不足下でのパフォーマンスには集中が必要です。定理が数学的に確立することを、進化史は経験的に確認し、競争市場は退出のコストで教え、機械学習システムは繰り返し示しています——すべて同じことです。専門化は不可避です。それは好みだからではなく、リソースが限られた世界で制約が表現される方法だからです。