跳到主要內容
AI News HubLIVE
站內改寫1 分鐘閱讀

帶功能約束的變分不等式問題的映象下降類演算法

文章摘要

本文針對帶功能約束(不等式型約束)的變分不等式問題,提出了多種映象下降類演算法。這些演算法根據迭代中功能約束的值在生產性步驟和非生產性步驟之間切換,並採用不同的步長規則和停止準則。作者分析了這些演算法,證明了對於有界單調運算元和Lipschitz凸功能約束的問題,它們能夠以最優收斂速度達到所需精度。此外,還提出了一種改進演算法,透過在生產性步驟中考慮每個功能約束以及第一個違反可行性的約束,從而在多個約束下節省執行時間。對於δ-單調運算元,該演算法可應用於無法獲得目標函式次梯度準確資訊的約束最小化問題。數值實驗驗證了演算法的效能。

來源arXiv Machine Learning作者: Mohammad S. Alkousa, Fedor S. Stonyakin, Belal A. Alashqar, Seydamet S. Ablaev
帶功能約束的變分不等式問題的映象下降類演算法
回報錯誤

更正管道尚未開通,可先複製下方文章資訊留存。

查看更正說明
直接讀正文

變分不等式在機器學習中扮演著關鍵角色,廣泛應用於生成對抗網路、強化學習、對抗訓練和生成模型等領域。然而,實際問題中常常涉及帶功能約束(即不等式型約束)的變分不等式問題,這給最佳化帶來了挑戰。本文由Mohammad S. Alkousa等人撰寫,旨在提出一類新型映象下降類演算法來解決此類問題。

作者提出的演算法核心在於根據迭代過程中功能約束的取值,在生產性步驟(productive step)和非生產性步驟(non-productive step)之間進行動態切換。具體而言,噹噹前點滿足所有功能約束時,演算法執行生產性步驟,以降低變分不等式殘差;否則,演算法執行非生產性步驟,專注於減少約束違反。演算法支援多種步長規則和停止準則,增強了靈活性。

理論分析表明,對於具有有界單調運算元和Lipschitz連續凸功能約束的問題,該演算法能夠以最優的收斂速度達到任意精度的解。這一結果填補了帶功能約束變分不等式問題在映象下降框架下的理論空白。此外,作者還提出了一種改進版本:在生產性步驟中,演算法僅計算每個功能約束的值以及第一個違反可行性的約束,而非全部約束。這種策略在約束數量較多時能大幅降低每次迭代的計算開銷,從而節省執行時間。

進一步地,作者將分析擴充套件到δ-單調運算元。作為特例,該演算法可應用於約束最小化問題,即使目標函式的次梯度資訊不可精確獲取。這在實際場景中具有重要意義,例如當目標函式非光滑或僅能透過取樣獲得梯度資訊時,演算法依然有效。

最後,數值實驗展示了所提演算法的實際效能,驗證了其在不同問題規模下的有效性和效率。該研究為機器學習中約束最佳化問題提供了新的理論工具和實用演算法。

展開要點與分析

文章情報

工程師進階

要點

  • 提出了帶功能約束的變分不等式問題的映象下降類演算法,可在生產性和非生產性步驟間切換。
  • 證明了對有界單調運算元和Lipschitz凸約束,演算法具有最優收斂速度。
  • 改進版本透過僅考慮生產性步驟中的每個約束和第一個違規約束,顯著減少執行時間。
  • 演算法可擴充套件至δ-單調運算元,適用於無法獲得精確次梯度的約束最小化問題。

要點與分析由自動化流程生成,可能有誤,請結合原始來源核實。