代碼模型正越來越多地利用執行反饋進行訓練，但大多數訓練信號仍然停留在正確性層面。對於系統級代碼而言，這留下了一個重要空白：兩個程序可以通過相同的測試，但運行時差異可能非常大。近日，一篇由 Huihao Jing 等人提交至 arXiv 的論文提出 RLPF（Reinforcement Learning from Performance Feedback，基於性能反饋的強化學習），目的是讓代碼智能體不僅學會通過測試，還能主動優化所生成程序的執行效率。
論文指出，將運行時間直接作為獎勵信號存在幾個難點：運行時間只有在程序正確之後才有意義；不同任務之間運行時間的分佈差異很大；當大多數採樣程序無法編譯或無法運行時，運行時間幾乎無法提供有效指導。為此，RLPF 設計了一種分階段獎勵機制：對於編譯或運行失敗的程序，按照執行進展進行排序；對於能夠正確運行的程序，則根據其相對於基線、向專家參考實現靠攏的程度進行排名。這樣，模型在達到正確性之前也能獲得有意義的反饋，而達到正確性之後又能獲得對性能敏感的反饋。
研究人員使用 Qwen3-32B 作為基礎模型，在 PerfCodeBench 上進行微調。結果顯示，正確且可運行解決方案的比例從 11.1% 提升到 54.6%，相對效率從 8.1% 提升到 38.6%。經過訓練後的模型能夠與更強的開源權重系統競爭，並且其優化行為可以適度遷移到 EffiBench-X 基準上。進一步研究表明，由模型自身生成的參考實現雖然能提供一定監督，但效果弱於專家參考；而將正確性與運行時間結合起來的複合獎勵，比單獨使用正確性獎勵或單獨使用運行時間獎勵更加可靠。
這項工作表明，代碼智能體不僅可以通過強化學習學會編寫能夠通過測試的程序，還可以學會為其生成的程序進行性能優化。論文的 arXiv 編號為 2607.27271，提交於 2026 年 7 月 29 日，歸類於機器學習（cs.LG）與軟件工程（cs.SE）。