FirstResearch：面向LLM科學發現代理的可審計問題形成框架
FirstResearch引入了一種結構化研究問題證書，通過記錄原始定義、假設、機制模型、矛盾、可證偽假設、最小決定性測試和失敗更新規則，使LLM生成的科研問題可審計。在十個主題上評估，該框架優於基線方法，得分4.86/5 vs 4.38/5。消融實驗表明證書至關重要，移除後得分低於1/5。結果表明顯式推導約束能提高審計性。
大型語言模型（LLM）在科學發現中的應用正變得越來越普遍，它們被用於構思、文獻綜合、實驗規劃和報告生成等多個環節。然而，LLM提出的第一個研究問題往往難以審計。它可能聽起來合理，但並未暴露科學家需要檢查的底層機制、證偽條件或假設。為了解決這個問題，研究人員提出了FirstResearch框架，這是一種基於第一性原理的研究問題形成方法。該框架的核心是一個結構化的“研究問題證書”（Research Question Certificate），它詳細記錄了原始定義、假設、機制模型、矛盾或張力、可證偽假設、最小決定性測試以及失敗更新規則。通過這種方式，提出的問題在下游執行之前就可以被審查。
研究團隊在十個LLM代理研究主題上進行了評估，使用DeepSeek作為主要評委（採用盲評協議），並將FirstResearch與基於AI co-scientist、Agent Laboratory和AI Scientist-v2的基線方法進行了對比。結果顯示，FirstResearch獲得了4.86/5的評分，而最強的基線方法僅為4.38/5。為了確保結果的穩健性，研究團隊還使用Gemini-2.5-Flash作為獨立評委對同樣的40個基線包進行了重新評分，系統級排名保持不變，平均分數的Pearson相關係數達到0.865，表明評分具有較高的一致性。
在消融實驗中，僅保留證書的設置下，DeepSeek的評分為4.90/5，Gemini的評分為4.88/5；而移除證書後，兩個評委的評分均降至1/5以下。這強有力地證明了證書是框架中最關鍵的組件。儘管這些結果是初步的，並且使用的是LLM評委而非人類領域專家，但它們支持一個具體的科學發現主張：顯式推導約束是使LLM生成的科學問題更具審計性的一種有前景的機制。研究團隊已經在GitHub上公開發布了代碼、提示詞、保存的輸出和復現腳本，供學術界進一步驗證和改進。