香港城市大學的研究團隊近日提出了名為DualOptim+的新型優化框架，旨在顯著提升大語言模型（LLM）的機器遺忘（machine unlearning）性能。該研究成果已被機器學習頂級會議ICML 2026接收。
機器遺忘技術旨在讓模型在特定數據集上“忘記”所學信息，同時保持對其他知識的記憶，這在隱私保護、模型修正和去除不良內容等方面具有重要應用。然而，遺忘目標與保留目標之間往往存在衝突，導致現有方法難以取得良好平衡。
DualOptim+通過引入基態（base state）和增量態（delta states）來巧妙化解這一衝突。基態捕捉遺忘和保留目標的共同表示，而增量態則分別保留各自特定的殘差信息。優化器能夠根據遺忘梯度與保留梯度之間的方向衝突程度，自適應地橋接這兩種狀態，從而在優化過程中動態平衡不同目標。
此外，研究團隊還推出了DualOptim+的量化變體——DualOptim+ 8bit，通過8位量化技術大幅減少內存佔用，同時不犧牲模型性能。實驗涵蓋了虛構和真實世界的遺忘任務、安全對齊以及多任務學習等多種場景。結果表明，DualOptim+在多目標優化中始終能夠實現更優的權衡，顯著優於現有方法。
該工作的代碼已在GitHub上開源，為大型語言模型的機器遺忘領域提供了新的優化思路和實用工具。