變分不等式在機器學習中扮演着關鍵角色,廣泛應用於生成對抗網絡、強化學習、對抗訓練和生成模型等領域。然而,實際問題中常常涉及帶功能約束(即不等式型約束)的變分不等式問題,這給優化帶來了挑戰。本文由Mohammad S. Alkousa等人撰寫,旨在提出一類新型鏡像下降類算法來解決此類問題。
作者提出的算法核心在於根據迭代過程中功能約束的取值,在生產性步驟(productive step)和非生產性步驟(non-productive step)之間進行動態切換。具體而言,噹噹前點滿足所有功能約束時,算法執行生產性步驟,以降低變分不等式殘差;否則,算法執行非生產性步驟,專注於減少約束違反。算法支持多種步長規則和停止準則,增強了靈活性。
理論分析表明,對於具有有界單調算子和Lipschitz連續凸功能約束的問題,該算法能夠以最優的收斂速度達到任意精度的解。這一結果填補了帶功能約束變分不等式問題在鏡像下降框架下的理論空白。此外,作者還提出了一種改進版本:在生產性步驟中,算法僅計算每個功能約束的值以及第一個違反可行性的約束,而非全部約束。這種策略在約束數量較多時能大幅降低每次迭代的計算開銷,從而節省運行時間。
進一步地,作者將分析擴展到δ-單調算子。作為特例,該算法可應用於約束最小化問題,即使目標函數的次梯度信息不可精確獲取。這在實際場景中具有重要意義,例如當目標函數非光滑或僅能通過採樣獲得梯度信息時,算法依然有效。
最後,數值實驗展示了所提算法的實際性能,驗證了其在不同問題規模下的有效性和效率。該研究為機器學習中約束優化問題提供了新的理論工具和實用算法。