在多智能体策略博弈中训练语言模型智能体面临一个根本性难题：某一步行动的质量往往无法即时判定，它可能取决于最终并未发生的后续事件、违反规则的操作，或其他玩家的决策。标准强化学习默认每一步都能获得奖励信号，但这一假设在结果跨时间、跨智能体纠缠的场景中并不成立。arXiv上题为《MindGames Arena Generalization Track: In2AI Solution with Delayed Per-Step Reward Attribution》的论文（提交于2026年4月13日，作者包括Aliaksei Korshuk等）针对该问题提出了系统性的解决方案。
论文的核心贡献是“带资格门控的延迟逐步奖励归因”（delayed per-step reward attribution with eligibility gating）。该方法设计了一套回合生命周期与后处理流水线：奖励不在每一步即时计算，而是在整个回合结束时统一计算；随后依据任务特定的语义，将最终奖励回溯归因到产生它的各个原始步骤；对于那些缺少有效依赖信息、无法可靠归因的步骤，则将其排除在训练之外。这避免了错误奖励信号污染策略更新。
为支撑稳定且样本高效的训练，作者将上述奖励机制与多项工程优化结合：利用vLLM的连续批处理进行异步轨迹生成，采用课程式对手采样逐步提升对手难度，并通过多级分层批构建保证批次内样本的多样性。这些组件共同作用，使多智能体环境下的强化学习训练更加稳定。
评估在NeurIPS 2025的MindGames Arena基准上进行。结果显示，一个仅80亿参数的开源模型在使用该方法训练后，在头对头对战中匹配甚至超越了包括GPT-5在内的规模大得多的专有系统，并在Open（无限制）和Efficient（参数量不超过80亿）两个赛道中均获得第一名。这一结果凸显了方法设计在弥补模型规模差距方面的潜力，也为多智能体强化学习中的信用分配问题提供了可借鉴的范式。