那些關注 Dharma AI 的人已經知道,我們將專業化視為高效 AI 系統的關鍵原則之一,它影響着成本、性能、可靠性和自主性等方面。很少有論文像 Goldfeder、Wyder、LeCun 和 Shwartz-Ziv 在 2026 年的工作那樣嚴謹地闡述這一觀點。本文探討並解讀了《AI Must Embrace Specialization via Superhuman Adaptable Intelligence》中的思想。該論文的收斂性論證——跨越優化理論、生物學、組織經濟學和機器學習——既提供了證據結構,也為後續討論奠定了智力基礎。這裏的框架、組織和編輯綜合是 Dharma 的成果。
傳統的期望是合理的:隨着 AI 系統能力增強,它們也應該變得更加通用。更強的能力和更廣的適用性似乎是自然的組合——更多資源、更好方法、更廣泛的訓練應該產生能自信處理更多任務的系統。然而實際出現的模式不同。在任何特定領域取得最顯著成果的系統,往往是那些最專注於該領域的系統。蛋白質結構預測的突破來自一個為單一科學任務設計的系統。仔細審視 AI 的歷史里程碑,它們反映的是密集的領域針對性,而非通用性的擴展。
這種模式反覆出現。它跨越不同領域、不同年代、以及幾乎毫無共同點的架構選擇。如此一致的模式暗示了一個共同原因——這個原因並非源自 AI 研究本身。
1997 年,Wolpert 和 Macready 證明了一個在 AI 架構討論中很少提及的結果:沒有任何單一的通用優化算法能在所有可能問題上勝過其他所有算法(Wolpert & Macready, 1997)。這個證明是數學的,而非哲學的。平均而言,面對學習器可能遇到的每一個可設想問題,所有算法的表現同樣好——也同樣差。一個算法在一個問題分佈上獲得優勢,必然在其他分佈上做出讓步。性能被重新分配,而非倍增。
實際含義很直接:“算法獲勝是因為它適合目標問題”(Goldfeder et al., 2026)。該定理並未説通用性不可能——它説的是通用性並非性能優勢。實現超一致性表現的結構性路徑是集中:用廣度換取適配度。
當有限資源進入畫面時,這一點變得更加清晰。任何真實系統都在約束下運行——有限的計算、有限的數據、有限的開發時間。在有限能量下,將可用資源導向學習有限任務集的方法,將勝過將相同資源分佈到無限範圍的方法。算術是無情的:隨着任務集無界擴展,每個任務可用的資源趨向於零。在有限資源下,普遍覆蓋和有意義的性能是直接衝突的。
該定理指向的結論並非通用性不好。它更狹窄、更具操作性:如論文所述,“普遍通用性是一個理論概念,但在實際中是一個神話”(Goldfeder et al., 2026)。在真實約束下倖存下來的不是試圖做所有事情的系統——而是適合其目標的系統。
數學將其確立為一個預測,而非偏好。這一預測是否在優化理論之外的世界成立,是另一個問題。
另外兩個領域在優化理論給出名稱之前就得到了同樣的預測。
如論文所述,生物學的案例是:每個生態位上的性能提升都以其他地方的成本為代價。通才擁有適應許多環境的特徵,但不在任何環境中最優——能力過於分散,無法在特定條件下佔主導。沒有不付出代價的性能提升;投入一種能力的資源無法用於另一種能力。自然選擇偏愛與局部條件匹配的設計,而非在所有可能環境中均勻覆蓋的設計。生存並繁殖的有機體不是最通用的——而是最特定匹配的。經過進化時間尺度積累的結果不是通才主導——而是專家填充生態位。如論文所述:“專業化不是生物學的偶然;它是有限資源、競爭目標以及獎勵一小部分進化相關挑戰性能的環境的可預測結果”(Goldfeder et al., 2026)。
競爭性市場通過不同手段遵循相同的動態。未能達到性能閾值的組織和策略被淘汰——不是通過滅絕,而是通過退出、失去資金以及被更匹配的替代品取代。競爭作為一個選擇機制:它放大有效策略,消除無效策略。該機制與生物選擇毫無共同之處——沒有遺傳、沒有突變、沒有進化時間尺度。選擇的單位不是有機體,而是組織、產品、策略。然而結構壓力相同:有限資源、性能要求,以及系統性移除那些過於廣泛分佈而無法在關鍵領域卓越的實體。當性能標準明確且一致時,集中能力勝過分散能力。
進化和市場通過完全不同的機制運作——不同的時間尺度、不同的選擇單位、不同的遺傳機制。但兩者在資源壓力下產生相同的結果:適配度優先於廣度。定理預測了這一點。生物學和市場獨立地得出了這一點。當第三個領域通過完全不同的手段得出相同發現時,這種模式不再像是一個定理,而開始像是關於約束系統如何行為的更普遍規律。
同樣的模式已在機器學習內部浮現——不是從優化理論推導而來,而是通過構建系統並觀察什麼改進它們的積累經驗得出的。
最清晰的形式是負遷移:當系統在多個任務上訓練時,由於這些任務相互競爭而非合作,導致可測量的性能下降(Ruder, 2017)。當任務共享結構時,聯合訓練有幫助。但當任務競爭表示容量,或在訓練中施加衝突梯度時,單個任務的性能低於專用系統所能達到的水平。廣度的收益變成了深度的成本。這是有限容量在相互對抗的任務間分配的可記錄後果。專家不面臨這種競爭,因此不付出這種成本。
前沿模型的架構提供了不同形式的證據。混合專家系統實現廣度不是通過所有參數上的均勻通用性,而是通過將每個輸入路由到專門的子網絡——為不同任務激活不同專家。論文作者將其解讀為一個結構性讓步:一個旨在通用的系統通過內部恢復專業化來實現其結果。這是一個論證性的解讀,而非已證明的定理——這些架構是為計算效率設計的,它們關於通用性極限的含義是合理的推斷而非陳述的意圖。但值得注意的是:最有能力的通用系統通過做專業系統設計上做的事情來達到其性能。
最清晰的歷史例子遵循相同邏輯。AlphaFold 通過針對特定任務使用特定任務架構和訓練選擇,在蛋白質結構預測上實現了階躍變化(Jumper et al., 2021)。其收益來自更窄的焦點,而非更廣的覆蓋。論文將 AlphaFold 作為一個典型例子——並非作為所有專用系統都能實現同等收益的證據,而是作為該機制的異常清晰説明。該機制已反覆出現:論文指出,AI 里程碑的歷史經常反映密集的領域針對性而非廣泛能力,即使結果看起來像是通用智能的展示。
三個不同的地方。三種不同的機制。同樣的發現。
如果不討論 AI 研究中最常被引用的觀察之一,這幅圖景將是不完整的。Sutton 的“苦澀教訓”認為,依賴領域知識的方法總是被擴展計算的方法超越(Sutton, 2019)。表面上,這似乎使專業化的論據複雜化:如果規模和通用性獲勝,也許專業化只是在資源約束下有用的啓發式方法,而當計算變得更便宜時,這些約束將緩解。
這一反對意見混淆了兩個不同的概念。領域知識指手工編碼的特徵、工程化先驗以及旨在使系統深入瞭解特定領域的規則。“苦澀教訓”針對這一點——而且它是正確的。隨着規模擴大,編碼顯式領域知識的系統已被持續超越。
領域專業化則不同:決定將系統的資源、架構和訓練導向一個有限的任務集,而非廣泛分佈。這不是關於一個領域的知識編碼。這是一個關於範圍的決定。
論文精確地劃出了區別:
“領域知識的有用性下降與領域專業化的有用性不同。隨着縮放進展,我們將需要更少的蛋白質知識來構建一個處理蛋白質摺疊的系統;然而,這樣的系統仍然受益於專門關注蛋白質。”(Goldfeder et al., 2026)
縮放改變了系統可以從數據中學習的內容。它並沒有改變將資源集中於有限任務集是否優於將其分佈在無限範圍。苦澀教訓和專業化論證在不同的維度上運作——一個描述知識應如何獲取,另一個描述系統應指向什麼。兩者可以同時為真。縮放改變了系統學習的機制;它並未解除使適配度比廣度更有價值的約束。
跨越四個分析傳統,同樣的模式通過不同路徑出現。這不是一個需要解釋的巧合。這就是證據。
當有限資源遇到選擇壓力時——在優化問題、生態系統、市場或訓練運行中——適配度始終勝過廣度。具體機制不同。時間尺度不同。選擇單位不同。但結構動態相同,併產生相同的結果。
定理沒有在生物學中引起這種模式。生物學沒有在市場中引起它。兩者都沒有在機器學習中引起它。它們都面臨相同的底層約束:資源稀缺下的性能需要集中。定理數學上確立的,進化史上實證確認的,競爭市場通過退出代價教訓的,以及機器學習系統反覆展示的——都是同一件事。專業化是必然的,不是因為它是偏好,而是因為它是約束在資源有限的世界中表達的方式。