跳到主要內容
AI News HubLIVE
站內改寫1 分鐘閱讀

NEST:通過面向機制的混合專家模型應對數據集級分佈漂移

文章摘要

NEST是一種專門設計的框架,通過兩階段密集MoE架構建模和重組數據集中的演化結構。它首先在矩-熵空間中進行無監督聚類,將數據集劃分為不同的運行機制,然後利用面向機制的路由器機制生成初始專家權重,並通過幾何調製進行優化。專家作為專門的內核,捕獲機制特有的動態。在多種基準測試中,NEST取得了最先進的性能。

來源arXiv Machine Learning作者: Lanhao Li, Bingshu Xie, Lijun Sun, Xin Xue, Haoyi Zhou, Jianxin Li
NEST:通過面向機制的混合專家模型應對數據集級分佈漂移
報告錯誤

更正渠道尚未開通,可先複製下方文章資訊留存。

查看更正說明
直接讀正文

長期時間序列預測在複雜系統中常因數據集級分佈漂移而失效,這種漂移源於多種潛在行為模式和系統狀態的演化。現有方法大多關注局部時間漂移,但未能建模數據集的全局結構——即不同運行機制的複合體。為此,研究團隊提出NEST框架,採用兩階段密集混合專家(MoE)架構來顯式建模和重組這些演化結構。

NEST的第一階段通過無監督聚類在矩-熵空間中將數據集劃分為不同的運行機制,實現結構專門化。矩-熵空間是一個理論驅動的特徵空間,能夠有效區分數據的內在模式。第二階段引入面向機制的路由器機制:首先根據時間內容生成初始專家權重,再通過幾何調製向機制質心精化。這種設計使得路由器能夠動態地為每個時間點分配最相關的專家。

與傳統方法將專家視為單一預測器不同,NEST中的每個專家充當專門的內核,通過演化獨特的變量注意力模式來捕獲機制特定的動態。這種設計允許專家專注於學習某類運行模式的時序依賴關係,從而提升預測精度。

在異構網絡流量和物理現象等多個基準測試上,NEST一致取得了最先進的性能。實驗表明,該方法在處理複雜、多模式的時間序列時具有顯著優勢。此外,研究團隊已公開代碼和數據集,以促進相關領域的進一步研究。代碼和數據集可在https://github.com/Aaralshin/NEST獲取。

展開要點與分析

文章情報

投資人進階

要點

  • NEST在矩-熵空間中通過無監督聚類將數據集劃分為不同的運行機制。
  • 面向機制的路由器根據時間內容生成初始專家權重,並經過幾何調製優化。
  • 每個專家作為專門內核,通過演化不同的變量注意力模式捕獲機制特有的動態。
  • 在異構網絡流量和物理現象等基準測試中,NEST始終達到最先進性能。

要點與分析由自動化流程生成,可能有誤,請結合原始來源核實。