言語モデルが仮説生成と実装の自動化を通じて科学研究を加速するにつれ、新たなボトルネックが浮上している。それは、何百ものAI生成アイデアを網羅的な実験なしに評価し、選別する方法である。arXivに掲載された論文（2605.21491、ACL 2026 Findings採択）は、言語モデルが実験前に研究アイデアの経験的成功を予測できるかどうかを直接調査している。
著者らはタスクを「比較経験予測」と定義する。ベンチマーク固有の研究目標と2つの候補アイデアが与えられたとき、どちらがそのベンチマークでより良い性能を達成するかを予測するのである。訓練と評価のために、研究チームはPapersWithCodeの客観的結果に基づいて11,488組のアイデアペアからなるデータセットを構築した。このデータ基盤により、予測タスクは主観的判断ではなく実際のベンチマーク性能に直接結びつけられている。
実験の結果、調整なしの80億パラメータモデルはこのタスクで苦戦し、精度は約30%にとどまった。しかし、教師あり微調整（SFT）により、同規模モデルの精度は77.1%へと大幅に向上し、GPT-5の61.1%さえも上回った。この対比は、的を絞った訓練を受けた小規模モデルが、特定の評価タスクではより大規模な汎用モデルを超え得ることを示している。
研究はさらに、評価を推論タスクとして枠組み化する手法を探求した。検証可能な報酬を用いた強化学習（RLVR）により、モデルは潜在的な推論経路を発見するよう訓練され、最終的に71.35%の精度を達成しつつ、解釈可能な判断根拠を提供できるようになった。この数値はSFTの77.1%をわずかに下回るものの、モデルが予測だけでなく理由も出力できる点が利点であり、評価プロセスの信頼性と検証可能性を高めている。
モデルの堅牢性を検証するため、著者らは追加のアブレーション実験と分布外テストを実施した。結果は、モデルが表面的なヒューリスティック特徴に抵抗力を持ち、2つの異なるテストシナリオに転移できることを示した。1つはクロスドメインの時間分割テストセット、もう1つは独立に構築されたテストセットである。これらのテストにより、モデルが単にデータセットのバイアスを記憶したり、偽の相関を利用したりしているだけではないという懸念が緩和される。
総じて、この研究は計算効率の良い小規模言語モデルが有効な客観的検証器として機能し、自律的科学発見へのスケーラブルな道を提供することを証明している。AI生成アイデアが急増する中で、有望な研究方向を迅速かつ正確に選別できる能力は、科学研究の効率を大幅に向上させるだろう。