PROWL：面向世界模型学习的优先化遗憾驱动优化
2026年5月11日提交至 arXiv 的论文《PROWL: Prioritized Regret-Driven Optimization for World Model Learning》由 Ahmet H. Güzel 等共七位作者完成，编号为 arXiv:2605.18803v1，归属机器学习（cs.LG）与人工智能（cs.AI）两个分类，DOI 为 10.48550/arXiv.2605.18803，由 DataCite 颁发。论文摘要于同日发布，全文约 6,352 KB，提供 PDF、实验性 HTML 以及 TeX 源码等访问方式。
论文关注的核心问题是：现代的动作条件视频世界模型虽然能在短时间尺度上生成高度逼真的画面，但在稀有却对交互至关重要的状态转场上依然不可靠，而这些转场恰恰主导着下游的规划与策略表现。由于被动的演示数据会系统性地对这些高影响场景采样不足，想要提升鲁棒性，就必须主动地诱发模型失误，而不是等待失误自然发生。
为此，作者提出了一种带 KL 约束的对抗性课程：训练一个策略去暴露基于扩散的世界模型产生高误差的轨迹，同时让该策略保持在行为分布附近。世界模型则在这些被对抗性发现的轨迹上持续微调，从而形成一个对抗训练闭环，把原本稀有的失败转化为稳定且接近分布的监督信号，避免模型滑向对分布外样本的利用。
为了让训练压力始终集中在尚未解决的弱点上，作者还设计了优先化对抗轨迹缓冲（Prioritized Adversarial Trajectory，PAT）。该缓冲区依据预测误差、动作保真度以及学习进展对轨迹重新排序，使训练聚焦于未解决的失败模式，而不是反复回访已经攻克的案例。
在实现层面，作者将方法落地于 MineRL 框架，并在留出的分布外轨迹上进行了评估。结果显示，与仅使用被动数据训练的模型相比，PROWL 显著提升了鲁棒性；同时，在行为约束较弱时，研究还揭示出奖励作弊（reward-hacking）行为。实验进一步表明，有效的对抗性世界模型训练关键在于平衡探索性的失败发现与显式的行为正则化。
论文的结论是：可扩展的世界模型不仅受益于更大的数据集，也受益于有选择地生成信息量更高的训练数据。换言之，数据质量与针对性的主动采样，与单纯扩大数据规模同样重要。该工作也为后续研究提供了一个清晰的信号——世界模型的鲁棒性提升，需要把被动积累与主动挖掘失败案例结合起来。