随着语言模型通过自动化假设生成和实现来加速科学研究，一个新的瓶颈正在浮现：如何在不进行穷举实验的情况下，评估和筛选数百个AI生成的研究想法。一篇发表于arXiv的论文（编号2605.21491，已被ACL 2026 Findings接收）直接探讨了这一问题，研究语言模型能否在实验开始之前就预测研究想法的经验成功率。
作者将任务定义为比较式经验预测：给定一个特定基准的研究目标以及两个候选想法，模型需要判断哪一个想法会在该基准上取得更好的性能。为了训练和评估模型，研究团队从PapersWithCode的客观结果中构建了一个包含11,488个想法对的数据集。这一数据基础使得预测任务与真实的基准表现直接挂钩，而不是依赖主观判断。
实验结果显示，未经调整的80亿参数模型在该任务上表现不佳，准确率仅约30%。然而，通过监督微调（SFT），同一规模模型的准确率大幅提升至77.1%，甚至超过了GPT-5的61.1%。这一对比表明，经过针对性训练的小模型可以在特定评估任务上超越更大的通用模型。
研究进一步探索了将评估框定为推理任务的方法。通过使用可验证奖励的强化学习（RLVR），模型被训练去发现潜在的推理路径，最终达到71.35%的准确率，同时能够提供可解释的判断依据。虽然这一数字略低于SFT的77.1%，但其优势在于模型不仅给出预测，还能输出理由，增强了评估过程的可信度和可审查性。
为了检验模型的鲁棒性，作者进行了额外的消融实验和分布外测试。结果表明，模型对表面层次的启发式特征具有抵抗力，并且能够迁移到两个不同的测试场景：一个跨域时间分割测试集，以及一个独立构建的测试集。这些测试缓解了人们对模型可能仅仅记住数据集偏差或利用虚假相关性的担忧。
总体而言，这项研究证明，计算高效的小型语言模型可以作为有效的客观验证器，为自主科学发现提供了一条可扩展的路径。在AI生成想法日益增多的背景下，能够快速、准确地筛选出有前景的研究方向，将显著提升科学研究的效率。