言語モデルに研究成功を予測させるための比較アイデア評価
本研究は、実験前に研究アイデアの成功を言語モデルが予測できるかどうかを探る。PapersWithCodeに基づく11,488のアイデアペアのデータセットを使用し、微調整された8Bパラメータモデルが77.1%の精度を達成、GPT-5を上回った。RLVRフレームワークにより解釈可能な理由生成も実現し、小規模モデルの自律的科学発見への応用可能性を示す。
言語モデルによる仮説生成と実装の自動化が科学研究を加速する中、新たなボトルネックとして、膨大なAI生成アイデアを実験なしで評価・フィルタリングする必要性が生じている。ACL 2026 Findingsに採択された本論文は、言語モデルに研究アイデアの実証的成功を事前に予測させる可能性を探る。
研究者は「比較実証予測」タスクを定義：ベンチマーク固有の研究目標と2つの候補アイデアが与えられ、どちらがより良いベンチマーク性能を達成するかを予測する。PapersWithCodeから客観的結果に基づく11,488のアイデアペアのデータセットを構築した。実験では、未調整の8Bパラメータモデルは30%の精度しか達成できなかったが、教師あり微調整（SFT）により77.1%まで劇的に向上し、GPT-5の61.1%を上回った。
さらに、評価を推論タスクとして捉え、検証可能な報酬を用いた強化学習（RLVR）を適用。RLVRは71.35%の精度を達成しつつ、解釈可能な正当理由を生成できた。多数のアブレーション実験と分布外テストにより、モデルは表面的なヒューリスティックに対して頑健であり、クロスドメインの時間分割テストセットや独立構築テストセットに対しても転移可能であることが示された。
この研究は、計算効率の良い小規模言語モデルが効果的かつ客観的な検証者として機能し、自律的科学発見へのスケーラブルな道を提供することを実証している。