跳到主要內容
AI News HubLIVE
站內改寫1 分鐘閱讀

帶功能約束的變分不等式問題的鏡像下降類算法

文章摘要

本文針對帶功能約束(不等式型約束)的變分不等式問題,提出了多種鏡像下降類算法。這些算法根據迭代中功能約束的值在生產性步驟和非生產性步驟之間切換,並採用不同的步長規則和停止準則。作者分析了這些算法,證明了對於有界單調算子和Lipschitz凸功能約束的問題,它們能夠以最優收斂速度達到所需精度。此外,還提出了一種改進算法,通過在生產性步驟中考慮每個功能約束以及第一個違反可行性的約束,從而在多個約束下節省運行時間。對於δ-單調算子,該算法可應用於無法獲得目標函數次梯度準確信息的約束最小化問題。數值實驗驗證了算法的性能。

來源arXiv Machine Learning作者: Mohammad S. Alkousa, Fedor S. Stonyakin, Belal A. Alashqar, Seydamet S. Ablaev
帶功能約束的變分不等式問題的鏡像下降類算法
報告錯誤

更正渠道尚未開通,可先複製下方文章資訊留存。

查看更正說明
直接讀正文

變分不等式在機器學習中扮演着關鍵角色,廣泛應用於生成對抗網絡、強化學習、對抗訓練和生成模型等領域。然而,實際問題中常常涉及帶功能約束(即不等式型約束)的變分不等式問題,這給優化帶來了挑戰。本文由Mohammad S. Alkousa等人撰寫,旨在提出一類新型鏡像下降類算法來解決此類問題。

作者提出的算法核心在於根據迭代過程中功能約束的取值,在生產性步驟(productive step)和非生產性步驟(non-productive step)之間進行動態切換。具體而言,噹噹前點滿足所有功能約束時,算法執行生產性步驟,以降低變分不等式殘差;否則,算法執行非生產性步驟,專注於減少約束違反。算法支持多種步長規則和停止準則,增強了靈活性。

理論分析表明,對於具有有界單調算子和Lipschitz連續凸功能約束的問題,該算法能夠以最優的收斂速度達到任意精度的解。這一結果填補了帶功能約束變分不等式問題在鏡像下降框架下的理論空白。此外,作者還提出了一種改進版本:在生產性步驟中,算法僅計算每個功能約束的值以及第一個違反可行性的約束,而非全部約束。這種策略在約束數量較多時能大幅降低每次迭代的計算開銷,從而節省運行時間。

進一步地,作者將分析擴展到δ-單調算子。作為特例,該算法可應用於約束最小化問題,即使目標函數的次梯度信息不可精確獲取。這在實際場景中具有重要意義,例如當目標函數非光滑或僅能通過採樣獲得梯度信息時,算法依然有效。

最後,數值實驗展示了所提算法的實際性能,驗證了其在不同問題規模下的有效性和效率。該研究為機器學習中約束優化問題提供了新的理論工具和實用算法。

展開要點與分析

文章情報

工程師進階

要點

  • 提出了帶功能約束的變分不等式問題的鏡像下降類算法,可在生產性和非生產性步驟間切換。
  • 證明了對有界單調算子和Lipschitz凸約束,算法具有最優收斂速度。
  • 改進版本通過僅考慮生產性步驟中的每個約束和第一個違規約束,顯著減少運行時間。
  • 算法可擴展至δ-單調算子,適用於無法獲得精確次梯度的約束最小化問題。

要點與分析由自動化流程生成,可能有誤,請結合原始來源核實。