訓練AI科學家復現研究

1821年，理查德·菲利普斯請朋友邁克爾·法拉第撰寫一篇關於新興電磁學領域的綜述。法拉第並不是一個尋常的選擇——他幾乎沒有受過正規教育，在該領域經驗有限，但他是一位著名的實驗主義者。

為了撰寫綜述，法拉第決定手動復現過去的實驗結果。在皇家研究院燭光地下室進行的實驗中，他發現通電導線可以繞磁鐵運動。他在日記中寫道“非常滿意”。法拉第由此發明了電動機。

受此啓發，Inherent推出了Faraday——一個270億參數的“AI科學家”智能體。在復現研究任務上，Faraday超過了Claude Opus 4.8和GPT-5.5。團隊通過長程強化學習（RL）並以編碼智能體作為工具進行訓練，使Faraday掌握嚴謹科學家的技能，朝着能夠跨領域創新的AI科學家邁進一步。

為了訓練Faraday，團隊提出了Replica：一個可擴展的RL任務空間。每項任務要求智能體在沒有原始圖表的情況下，在有限的時間和算力預算內復現論文中的一張圖。初始套件包含來自100篇機器學習與AI+科學論文的310項任務，涉及NLP、材料科學、天氣預報等多個領域。

團隊讓領先實驗室的最新智能體在Replica上運行，發現它們並未使任務空間飽和。Claude Opus 4.8和GPT-5.5作為基線，分別在Claude Code和Codex環境中以最高思考強度運行。Faraday在任務套件的每一類論文上都產生了更忠實的復現，並且對近期研究應對得更好，能夠有效地將其科學技能應用於基礎模型預訓練時未見過的研究。

復現一張圖也許看起來不算特別有創新性，但從過程而非輸出來看，復現是通向創新的墊腳石。論文描述的是作者發現有效的方法，而不是幫助他們走到那裏的失敗結果。要成功，智能體必須恢復頁面上沒有的“99%的汗水”。這需要開放研究中特有的假設驅動探索。

復現構成了一個由不明確任務組成的課程基礎。可以從提供給智能體的論文中移除單張圖以外的特徵，資源限制可以進一步收緊或放寬。甚至可以想象不存在的論文，讓同一個Faraday模型在不知不覺中完成創新。

完美還原圖表並不等於成功復現，成功的復現還需要良好的實驗設計、科學規範、忠於原論文的主張以及有效利用可用資源。歸根結底，復現需要“研究品味”。

團隊設計了一個LLM評判器，並進行了人類研究來驗證它能捕捉專家的研究品味。但用LLM評判器進行訓練仍然具有挑戰性，因為基礎模型的隨機性會產生嘈雜的獎勵信號。團隊使用每任務評分準則來解決這個問題，獲得了比LLM基線更高的一致性和更低的噪聲。

針對長程RL訓練中常見的不穩定性，團隊在訓練時對評判器做了兩項進一步修改：多采樣聚合和逐輪信用分配。用這套方法訓練後，Faraday學會了成為更嚴謹的科學家。

Faraday使用GPT-5.5 Codex作為工具，就像人類科學家使用編碼智能體一樣。值得注意的是，Faraday能夠指揮一個比自身大幾個數量級的模型，並以提高復現性能的方式指導其工作。此外，Faraday在測試時可以泛化到指揮更強大的智能體：用GPT-5.4-mini訓練後，它能夠適應GPT-5.5 Codex。隨着前沿編碼智能體的不斷進步，團隊預計科學判斷的價值只會增加。

Faraday在測試時也能利用之前的發現找到新見解，這與現有AI科學家智能體類似。但與這些智能體不同，Faraday不需要手工編碼的進化框架，也沒有測試時獎勵。換句話説，Faraday學會內在地重視發現。

Faraday代表着一種新範式的第一步，這種範式將一層科學直覺與編碼智能體不斷增強的能力結合起來。團隊相信，由新基礎設施和新形式的人機協作驅動的更好的AI科學家，可以造福全社會。

在Inherent，Faraday的改進在整個公司內產生複合效應，使團隊能夠在牢牢保持人類參與的情況下發現新知識。出於安全考慮，團隊正在研究其方法如何推進可擴展監督並緩解獎勵黑客問題。他們正在構建一種新型AI和新型研究機構，以適應用AI驅動科學發現的時代。