香港城市大学机器学习团队（CityU-MLO）的研究者提出了 DualOptim+，一种面向大语言模型机器遗忘（machine unlearning）的新型优化框架。该论文由 Xuyang Zhong 等四位作者完成，已于 2026 年 5 月 20 日提交至 arXiv（编号 arXiv:2605.21539，分类 cs.LG），并被 ICML 2026 接收。论文摘要、PDF、HTML 实验版以及 TeX 源码均已公开，代码托管在 GitHub 的 CityU-MLO/DualOptimPlus 仓库中。
机器遗忘的核心难点在于同时满足两个相互冲突的目标：一方面要让模型“忘记”指定的数据或能力（forgetting），另一方面又必须保留其余应有的知识与性能（retaining）。这两个目标对应的梯度往往方向不一致，传统优化器把二者混在同一份优化器状态中处理，容易导致遗忘不彻底或保留能力被破坏。DualOptim+ 的思路是重新设计优化器状态的组织方式。它为共享表示引入一个 base state（基础状态），用来捕捉遗忘目标与保留目标所共有的公共表征；同时为每个目标维护独立的 delta state（差分状态），用于保存该目标特有的残差信息。
这种“共享 + 解耦”的双层状态架构，使优化器能够根据遗忘梯度与保留梯度之间的方向性冲突程度，自适应地在共享状态与解耦状态之间进行桥接。当两个梯度方向一致时，更多依赖共享状态以节省开销并促进共性学习；当冲突明显时，则更多启用各自独立的 delta 状态，从而缓解目标之间的相互干扰。
除主框架外，作者还提出了 DualOptim+ 8bit，即该框架的 8 位量化变体。该版本在降低优化器状态内存占用的同时，宣称性能不受损失，这对大语言模型训练与微调场景下的显存压力具有实际意义。
实验覆盖了虚构场景与真实世界场景下的机器遗忘、安全对齐（safety alignment）以及多任务学习等任务。结果表明，DualOptim+ 在这些任务上均能稳定取得不同目标之间更优的权衡，即在完成遗忘的同时更好地保持模型原有能力。作者表示相关代码已开源，便于社区复现与后续研究。该工作为在大模型上实施可控遗忘与安全对齐提供了一种从优化器层面入手的解决路径。