近年来，大语言模型（LLM）在推理能力上取得了显著进展，这一进展很大程度上得益于基于可验证奖励的强化学习（RLVR）。然而，现有的强化学习算法存在一个根本性局限：其探索范围受限于策略模型固有的能力边界。虽然已有方法尝试引入外部专家演示来扩展这一边界，但它们通常依赖于完整的轨迹级指导，导致样本效率低下、信息稀疏，并可能将探索限制在静态的指导空间中。
受多智能体系统潜力的启发，研究人员提出了AIPO框架，这是一种增强的强化学习框架，通过在探索过程中进行主动的多智能体交互来提升LLM推理能力。具体而言，AIPO使策略模型在遇到推理瓶颈时能够主动咨询三个功能协作智能体：验证智能体（Verify Agent）、知识智能体（Knowledge Agent）和推理智能体（Reasoning Agent），从而获得细粒度、有针对性的指导，在训练过程中主动扩展能力边界。验证智能体负责检查中间步骤的正确性，知识智能体提供相关事实和背景知识，推理智能体则引导更有效的推理路径。这种协作使得策略模型能够超越自身能力限制，学习更复杂的推理策略。
为了克服从智能体反馈学习时出现的离策略偏差和梯度消失问题，AIPO引入了一个定制的重要性采样系数以及裁剪策略。重要性采样系数调整不同反馈样本的权重，减少偏差；裁剪策略则限制更新幅度，防止梯度消失。训练完成后，策略模型可以独立进行推理，无需依赖协作智能体，因此部署时不会增加额外开销。
在包括AIME、MATH500、GPQA-Diamond和LiveCodeBench在内的多种推理基准上的大量实验表明，AIPO consistently提升了推理性能，在不同策略模型和RLVR算法上具有鲁棒泛化能力，并有效扩展了策略模型的推理能力边界。例如，在AIME（美国数学邀请赛）题目上，AIPO显著提高了准确率；在MATH500上，它超越了现有最佳方法。此外，该方法在代码生成基准LiveCodeBench上也表现优异，显示了其跨领域的泛化能力。这些结果证明，通过主动多智能体交互，可以显著突破LLM的推理能力上限。该方法的代码和数据已公开发布，便于后续研究和应用。