變分不等式在機器學習中扮演著關鍵角色,廣泛應用於生成對抗網路、強化學習、對抗訓練和生成模型等領域。然而,實際問題中常常涉及帶功能約束(即不等式型約束)的變分不等式問題,這給最佳化帶來了挑戰。本文由Mohammad S. Alkousa等人撰寫,旨在提出一類新型映象下降類演算法來解決此類問題。
作者提出的演算法核心在於根據迭代過程中功能約束的取值,在生產性步驟(productive step)和非生產性步驟(non-productive step)之間進行動態切換。具體而言,噹噹前點滿足所有功能約束時,演算法執行生產性步驟,以降低變分不等式殘差;否則,演算法執行非生產性步驟,專注於減少約束違反。演算法支援多種步長規則和停止準則,增強了靈活性。
理論分析表明,對於具有有界單調運算元和Lipschitz連續凸功能約束的問題,該演算法能夠以最優的收斂速度達到任意精度的解。這一結果填補了帶功能約束變分不等式問題在映象下降框架下的理論空白。此外,作者還提出了一種改進版本:在生產性步驟中,演算法僅計算每個功能約束的值以及第一個違反可行性的約束,而非全部約束。這種策略在約束數量較多時能大幅降低每次迭代的計算開銷,從而節省執行時間。
進一步地,作者將分析擴充套件到δ-單調運算元。作為特例,該演算法可應用於約束最小化問題,即使目標函式的次梯度資訊不可精確獲取。這在實際場景中具有重要意義,例如當目標函式非光滑或僅能透過取樣獲得梯度資訊時,演算法依然有效。
最後,數值實驗展示了所提演算法的實際效能,驗證了其在不同問題規模下的有效性和效率。該研究為機器學習中約束最佳化問題提供了新的理論工具和實用演算法。