AI News HubLIVE
站內改寫2 分鐘閱讀

Show HN:開源AI科學家實現半自動理論發現

Imbue Catalyst 是一個用於半自動科學研究和發現的開源工具。它支持兩種核心研究模式:解釋現象和可驗證目標求解,通過對抗性評審和進化算法增強現有大語言模型的能力。

來源Hacker News AI作者: danielmewes

Imbue 發佈了 Catalyst,一個開源工具,旨在實現半自動化的科學研究和理論發現。該工具基於現有的大語言模型(LLM)構建,但通過兩種獨特的工作流程顯著提升了其能力:一是解釋現象,即自主開發理論來解釋觀察到的現象,並支持用户提供理論草案進行修正;二是可驗證目標求解,即通過代碼驗證的方式解決研究目標或優化可測量的指標。此外,還提供預定義的手動操作菜單,如審查理論正確性、提出改進建議或評估候選方案。

Catalyst 特別適合那些能夠通過計算實驗和數學推導來理解的現象,尤其是機器學習和深度學習理論領域的問題。例如,回答“當我們做Y時,觀察到X,導致X的機制是什麼?”這類“為什麼”問題。它要求問題描述精確、範圍有限,並且可以通過編程方式重現和探究。對於可驗證目標求解,典型問題包括“找到滿足條件X的配置或函數,並通過驗證腳本Y測試”或“優化模型A的訓練速度,同時不將精度降至B以下”。

相反,Catalyst 不適用於無結構化或約束不足的優化問題(如“讓我的模型更好”而無明確指標)、主觀成功標準的問題、純工程問題、超出基礎模型能力範圍的問題(如證明P=NP)、需要非計算實驗的問題,以及需要大量計算資源的問題。默認單次實驗超時30分鐘。

與直接使用LLM聊天或編碼代理相比,Catalyst 引入了對抗性評審-優化循環:一組智能體持續改進理論或解決方案,另一組獨立智能體負責反駁、識別邊緣情況和侷限性。此外,它還採用進化式系統,維護一個競爭性的理論或解羣,通過反覆排名和實驗數據驗證來選出最優候選,並進一步細化分支。

使用 Catalyst 需要克隆倉庫並安裝依賴,支持多種LLM後端,包括 Claude Code、Gemini CLI、Antigravity CLI 和 Codex CLI。不同工作流程的成本差異較大,進化式工作流程通常涉及超過100個子智能體,可能導致顯著的token消耗。用户可以通過配置“Step Type Model Overrides”來優化成本,例如僅對開發步驟使用最強模型,評審和評分步驟可使用較弱模型。

Catalyst 由 Imbue 團隊開發,採用 AGPL-3.0 許可證。更多詳細文檔(如快速入門指南、工作流參考和CLI代理使用説明)可在倉庫中找到。