一項新研究挑戰了經典直覺——驗證解決方案比生成更容易。隨著基礎模型推理能力增強和工程工具日趨複雜，生成複雜候選方案已不再困難，而可靠驗證卻成為更棘手的問題。論文《The Verification Horizon: No Silver Bullet for Coding Agent Rewards》指出，任何可構建的驗證器都只是人類意圖的代理，而非意圖本身，這導致驗證面臨雙重挑戰：首先，意圖天然具有欠指定性，使得忠實核查難以實現；其次，模型訓練中的最佳化過程會擴大代理與意圖之間的差距，表現為獎勵駭客或訊號飽和。
為應對這些挑戰，研究人員從三個維度表徵驗證訊號的質量：可擴充套件性（Scalability）指訊號能否適用於不同規模和型別的任務；忠實性（Faithfulness）衡量訊號真實反映意圖的程度；魯棒性（Robustness）評估訊號對策略變化的穩定性。他們強調，同時達成這三個維度是核心難題。
論文進一步研究了四種獎勵構建方式：通用程式設計任務的測試驗證器、前端任務的標準驗證器、真實世界智慧體任務中以使用者為驗證器、以及長週期任務的自動化智慧體驗證器。透過在不同任務型別和策略能力水平上的深度分析與實驗，團隊發現：有針對性的驗證設計能有效抑制獎勵駭客行為，提升任務完成質量，並在多項內部和公開基準上取得顯著提升。具體而言，在通用程式設計任務中，測試驗證器結合覆蓋率分析可減少虛假透過；在前端任務中，標準驗證器透過分步評分提高了忠實性；在真實世界任務中，使用者反饋作為驗證訊號有效避免了獎勵駭客；在長週期任務中，自動化驗證器透過中間檢查點提升了魯棒性。
核心經驗是：沒有固定的獎勵函式能在策略能力持續增長時保持有效；驗證必須與生成器共同進化。這一發現為AI安全與智慧體系統設計提供了重要啟示，意味著未來的獎勵設計需要動態調整，以適應不斷進步的模型能力。