程式碼模型正越來越多地利用執行反饋進行訓練，但大多數訓練訊號仍然停留在正確性層面。對於系統級程式碼而言，這留下了一個重要空白：兩個程式可以透過相同的測試，但執行時差異可能非常大。近日，一篇由 Huihao Jing 等人提交至 arXiv 的論文提出 RLPF（Reinforcement Learning from Performance Feedback，基於效能反饋的強化學習），目的是讓程式碼智慧體不僅學會透過測試，還能主動最佳化所生成程式的執行效率。
論文指出，將執行時間直接作為獎勵訊號存在幾個難點：執行時間只有在程式正確之後才有意義；不同任務之間執行時間的分佈差異很大；當大多數取樣程式無法編譯或無法執行時，執行時間幾乎無法提供有效指導。為此，RLPF 設計了一種分階段獎勵機制：對於編譯或執行失敗的程式，按照執行進展進行排序；對於能夠正確執行的程式，則根據其相對於基線、向專家參考實現靠攏的程度進行排名。這樣，模型在達到正確性之前也能獲得有意義的反饋，而達到正確性之後又能獲得對效能敏感的反饋。
研究人員使用 Qwen3-32B 作為基礎模型，在 PerfCodeBench 上進行微調。結果顯示，正確且可執行解決方案的比例從 11.1% 提升到 54.6%，相對效率從 8.1% 提升到 38.6%。經過訓練後的模型能夠與更強的開源權重系統競爭，並且其最佳化行為可以適度遷移到 EffiBench-X 基準上。進一步研究表明，由模型自身生成的參考實現雖然能提供一定監督，但效果弱於專家參考；而將正確性與執行時間結合起來的複合獎勵，比單獨使用正確性獎勵或單獨使用執行時間獎勵更加可靠。
這項工作表明，程式碼智慧體不僅可以透過強化學習學會編寫能夠透過測試的程式，還可以學會為其生成的程式進行效能最佳化。論文的 arXiv 編號為 2607.27271，提交於 2026 年 7 月 29 日，歸類於機器學習（cs.LG）與軟體工程（cs.SE）。