FirstResearch：面向LLM科学发现代理的可审计问题形成框架
FirstResearch引入了一种结构化研究问题证书，通过记录原始定义、假设、机制模型、矛盾、可证伪假设、最小决定性测试和失败更新规则，使LLM生成的科研问题可审计。在十个主题上评估，该框架优于基线方法，得分4.86/5 vs 4.38/5。消融实验表明证书至关重要，移除后得分低于1/5。结果表明显式推导约束能提高审计性。
大型语言模型（LLM）在科学发现中的应用正变得越来越普遍，它们被用于构思、文献综合、实验规划和报告生成等多个环节。然而，LLM提出的第一个研究问题往往难以审计。它可能听起来合理，但并未暴露科学家需要检查的底层机制、证伪条件或假设。为了解决这个问题，研究人员提出了FirstResearch框架，这是一种基于第一性原理的研究问题形成方法。该框架的核心是一个结构化的“研究问题证书”（Research Question Certificate），它详细记录了原始定义、假设、机制模型、矛盾或张力、可证伪假设、最小决定性测试以及失败更新规则。通过这种方式，提出的问题在下游执行之前就可以被审查。
研究团队在十个LLM代理研究主题上进行了评估，使用DeepSeek作为主要评委（采用盲评协议），并将FirstResearch与基于AI co-scientist、Agent Laboratory和AI Scientist-v2的基线方法进行了对比。结果显示，FirstResearch获得了4.86/5的评分，而最强的基线方法仅为4.38/5。为了确保结果的稳健性，研究团队还使用Gemini-2.5-Flash作为独立评委对同样的40个基线包进行了重新评分，系统级排名保持不变，平均分数的Pearson相关系数达到0.865，表明评分具有较高的一致性。
在消融实验中，仅保留证书的设置下，DeepSeek的评分为4.90/5，Gemini的评分为4.88/5；而移除证书后，两个评委的评分均降至1/5以下。这强有力地证明了证书是框架中最关键的组件。尽管这些结果是初步的，并且使用的是LLM评委而非人类领域专家，但它们支持一个具体的科学发现主张：显式推导约束是使LLM生成的科学问题更具审计性的一种有前景的机制。研究团队已经在GitHub上公开发布了代码、提示词、保存的输出和复现脚本，供学术界进一步验证和改进。