KV-PRM：通过KV缓存传递实现高效过程奖励建模，用于多智能体测试时扩展
KV-PRM是一种高效的过程奖励模型，通过直接利用大语言模型生成阶段自然产生的KV缓存，避免了文本重新编码，将评分成本从O(L²)降至O(L)。实验表明，在多个基准上，KV-PRM在匹配或超越文本PRM性能的同时，实现了高达5000倍的FLOPs减少、37倍延迟降低和34倍内存占用减少。
近年来，过程奖励模型（PRM）在引导测试时扩展（TTS）方法方面表现出色，显著提升了基于大语言模型的多智能体系统的能力。PRM通过在每一步骤提供细粒度的奖励信号，帮助模型在推理过程中进行更有效的搜索和决策。然而，现有的PRM几乎全部基于文本实现：它们需要将整个轨迹文本从头开始重新编码，以计算每个步骤的奖励分数。在长时间的多智能体生成过程中，序列长度L可能非常长，评分成本随序列长度二次增长——即O(L²)的计算复杂度——造成了严重的计算瓶颈。这极大地限制了PRM在长上下文场景（例如多轮对话、复杂任务规划）中的应用。为了解决这一效率问题，研究者提出了KV-PRM，一种高效的过程奖励模型。KV-PRM的核心创新在于直接读取大语言模型在生成阶段自然产生的KV缓存，从而消除了繁重的文本重新编码过程。具体而言，KV-PRM仅需针对预先存在的KV缓存处理一个单一的“验证令牌”，即可完成评分，从而将计算复杂度从O(L²)降低到O(L)。研究人员还从理论上证明，KV缓存包含的信息容量严格大于文本，且更适用于下游奖励建模。这一理论发现为KV-PRM的高效性提供了坚实的数学基础。在实证评估中，KV-PRM在MATH、GSM8K和AIME等基准测试中，结合多种TTS方法（如束搜索、蒙特卡洛树搜索和加权投票）进行了测试。结果表明，KV-PRM在性能上匹配或严格优于文本PRM。与此同时，与文本PRM相比，KV-PRM在评分FLOPs上实现了高达5000倍的减少，延迟降低37倍，每序列内存占用减少34倍。这些显著的效率提升使得KV-PRM特别适合部署在计算资源受限或对延迟敏感的实际系统中。总体而言，KV-PRM为长上下文多智能体系统的奖励建模提供了一种高效且实用的解决方案，有望推动PRM在更广泛的应用场景中落地。