近年來，大語言模型（LLM）在推理能力上取得了顯著進展，這一進展很大程度上得益於基於可驗證獎勵的強化學習（RLVR）。然而，現有的強化學習演算法存在一個根本性侷限：其探索範圍受限於策略模型固有的能力邊界。雖然已有方法嘗試引入外部專家演示來擴充套件這一邊界，但它們通常依賴於完整的軌跡級指導，導致樣本效率低下、資訊稀疏，並可能將探索限制在靜態的指導空間中。
受多智慧體系統潛力的啟發，研究人員提出了AIPO框架，這是一種增強的強化學習框架，透過在探索過程中進行主動的多智慧體互動來提升LLM推理能力。具體而言，AIPO使策略模型在遇到推理瓶頸時能夠主動諮詢三個功能協作智慧體：驗證智慧體（Verify Agent）、知識智慧體（Knowledge Agent）和推理智慧體（Reasoning Agent），從而獲得細粒度、有針對性的指導，在訓練過程中主動擴充套件能力邊界。驗證智慧體負責檢查中間步驟的正確性，知識智慧體提供相關事實和背景知識，推理智慧體則引導更有效的推理路徑。這種協作使得策略模型能夠超越自身能力限制，學習更復雜的推理策略。
為了克服從智慧體反饋學習時出現的離策略偏差和梯度消失問題，AIPO引入了一個定製的重要性取樣係數以及裁剪策略。重要性取樣係數調整不同反饋樣本的權重，減少偏差；裁剪策略則限制更新幅度，防止梯度消失。訓練完成後，策略模型可以獨立進行推理，無需依賴協作智慧體，因此部署時不會增加額外開銷。
在包括AIME、MATH500、GPQA-Diamond和LiveCodeBench在內的多種推理基準上的大量實驗表明，AIPO consistently提升了推理效能，在不同策略模型和RLVR演算法上具有魯棒泛化能力，並有效擴充套件了策略模型的推理能力邊界。例如，在AIME（美國數學邀請賽）題目上，AIPO顯著提高了準確率；在MATH500上，它超越了現有最佳方法。此外，該方法在程式碼生成基準LiveCodeBench上也表現優異，顯示了其跨領域的泛化能力。這些結果證明，透過主動多智慧體互動，可以顯著突破LLM的推理能力上限。該方法的程式碼和資料已公開發布，便於後續研究和應用。