コードモデルは実行フィードバックを使って訓練されることが増えているが、ほとんどの訓練信号は依然として「正しさ」だけを扱っている。システムコードの分野では、同じテストに合格しても実行時間が大きく異なるプログラムが存在するため、これは重要なギャップとなっている。Huihao Jing氏らがarXivに提出した論文は、コードエージェントがテストに合格するだけでなく、生成するプログラムの実行効率を最適化するように訓練する手法「RLPF」（Reinforcement Learning from Performance Feedback）を提案している。
論文では、実行時間をそのまま報酬として使うことの難しさを指摘している。実行時間はプログラムが正しく動作して初めて意味を持つこと、タスクごとにばらつきが大きいこと、サンプリングされたプログラムの多くがコンパイルや実行に失敗する場合にはほとんど手がかりにならないことなどが理由だ。RLPFは実行結果を段階的な報酬に変換する。失敗したプログラムは実行の進捗状況によって順序付けられ、正しく動作したプログラムはベースラインからエキスパート参照実装へどれだけ改善したかによってランク付けされる。これにより、正しさを達成する前にも有用なフィードバックが得られ、正しさを達成した後にはパフォーマンスに敏感なフィードバックが得られる。
研究者らはQwen3-32BをPerfCodeBenchでRLPFを使ってファインチューニングした。その結果、正しく実行可能なソリューションの割合は11.1%から54.6%に上昇し、相対効率は8.1%から38.6%に改善した。訓練後のモデルは、より強力なオープンウェイトシステムと競争力を持つようになり、最適化行動はEffiBench-Xにも緩やかに転移した。追加の研究では、モデル生成の参照実装は有用ではあるものの弱い監督しか提供しないこと、完全な複合報酬は正確性のみや実行時間のみのベースラインよりも信頼性が高いことが示された。
この研究は、コードエージェントがテストに合格するプログラムを書くだけでなく、書いたプログラムを最適化するように訓練できることを示している。論文のarXiv IDは2607.27271で、2026年7月29日に提出され、機械学習（cs.LG）とソフトウェア工学（cs.SE）に分類される。