FirstResearch：LLM科学発見エージェントのための監査可能な質問形成フレームワーク
FirstResearchは、原始定義、仮定、メカニズムモデル、矛盾、反証可能仮説、最小決定的テスト、失敗更新ルールを記録する構造化された研究質問証明書を導入し、LLMが生成した科学研究質問を監査可能にする。10のトピックで評価した結果、ベースライン手法を上回り、スコアは4.86/5対4.38/5。アブレーション試験では証明書が重要であり、除去するとスコアが1/5を下回る。結果は、明示的な導出制約が監査性を向上させることを示唆している。
大規模言語モデル（LLM）は、構想、文献統合、実験計画、レポート生成など、科学発見の分野でますます活用されている。しかし、LLMが提案する最初の研究質問は監査が難しいことが多い。もっともらしく聞こえる一方で、科学者が確認すべきメカニズムや反証条件、仮定が明示されないためである。この課題に対処するため、最新の研究ではFirstResearchフレームワークが提案された。これは、第一原理に基づく研究質問形成フレームワークであり、中核となる成果物は構造化された「研究質問証明書」である。
この証明書は、原始定義、仮定、メカニズムモデル、緊張や矛盾、反証可能な仮説、最小決定的テスト、失敗更新ルールを記録し、提案された質問を下流の実行前に検査可能にする。研究チームは、10のLLMエージェント研究トピックにおいて評価を実施。DeepSeekを主要評価者（ブラインド評価）とし、AI co-scientist、Agent Laboratory、AI Scientist-v2に触発されたベースラインと比較した。その結果、FirstResearchは4.86/5のスコアを獲得し、最強のベースライン（4.38/5）を上回った。
この結果の頑健性を確認するため、Gemini-2.5-Flashを独立評価者として同じ40のベースラインパッケージを再評価したところ、システムレベルのランキングは維持された。平均スコアのPearson相関は0.865であり、高い一致を示した。さらに、1回のアブレーション実験では、証明書のみの設定でDeepSeekが4.90/5、Geminiが4.88/5を達成したのに対し、証明書を除去すると両評価者でスコアが1/5を下回った。これは、証明書がフレームワークの最も強力な要素であることを示している。
これらの結果は予備的であり、人間の専門家ではなくLLM評価者に基づいているが、明示的な導出制約がLLM生成の科学質問をより監査可能にするための有望なメカニズムであるという狭い科学発見の主張を支持する。コード、プロンプト、保存された出力、再現スクリプトはGitHubで公開されており、学術界によるさらなる検証と改良が可能である。