KV-PRM：透過KV快取傳遞實現高效過程獎勵建模，用於多智慧體測試時擴充套件

近年來，過程獎勵模型（PRM）在引導測試時擴充套件（TTS）方法方面表現出色，顯著提升了基於大語言模型的多智慧體系統的能力。PRM透過在每一步驟提供細粒度的獎勵訊號，幫助模型在推理過程中進行更有效的搜尋和決策。然而，現有的PRM幾乎全部基於文本實現：它們需要將整個軌跡文本從頭開始重新編碼，以計算每個步驟的獎勵分數。在長時間的多智慧體生成過程中，序列長度L可能非常長，評分成本隨序列長度二次增長——即O(L²)的計算複雜度——造成了嚴重的計算瓶頸。這極大地限制了PRM在長上下文場景（例如多輪對話、複雜任務規劃）中的應用。為了解決這一效率問題，研究者提出了KV-PRM，一種高效的過程獎勵模型。KV-PRM的核心創新在於直接讀取大語言模型在生成階段自然產生的KV快取，從而消除了繁重的文本重新編碼過程。具體而言，KV-PRM僅需針對預先存在的KV快取處理一個單一的“驗證令牌”，即可完成評分，從而將計算複雜度從O(L²)降低到O(L)。研究人員還從理論上證明，KV快取包含的資訊容量嚴格大於文本，且更適用於下游獎勵建模。這一理論發現為KV-PRM的高效性提供了堅實的數學基礎。在實證評估中，KV-PRM在MATH、GSM8K和AIME等基準測試中，結合多種TTS方法（如束搜尋、蒙特卡洛樹搜尋和加權投票）進行了測試。結果表明，KV-PRM在效能上匹配或嚴格優於文本PRM。與此同時，與文本PRM相比，KV-PRM在評分FLOPs上實現了高達5000倍的減少，延遲降低37倍，每序列記憶體佔用減少34倍。這些顯著的效率提升使得KV-PRM特別適合部署在計算資源受限或對延遲敏感的實際系統中。總體而言，KV-PRM為長上下文多智慧體系統的獎勵建模提供了一種高效且實用的解決方案，有望推動PRM在更廣泛的應用場景中落地。