AI News HubLIVE
站內改寫2 分鐘閱讀

SOLAR:基於AI的光速效能分析框架

SOLAR是一個自動化框架,能夠從PyTorch和JAX原始碼中推匯出經過驗證的光速(SOL)效能界限。它結合了生成式大語言模型和確定性元件,提供未融合、融合及快取感知的SOL界限,並支援多保真度分析。在KernelBench、JAX/Flax模型和機器人工作負載上的實驗展示了其四項用例:多級淨空分析、識別最佳化機會、跨平臺探索以及逆屋頂線硬體配置。

來源Hacker News AI作者: matt_d

在深度學習模型最佳化領域,一個核心問題始終困擾著研究者和工程師:當前模型在目標硬體上究竟能執行多快?這個速度距離理論極限還有多遠?光速(Speed-of-Light, SOL)分析透過計算工作負載在給定架構上的理論最小執行時間來回答這些問題,是硬體、軟體和演算法最佳化的基石。然而,傳統的SOL界限推導過程高度依賴手工操作,不僅容易出錯,而且與快速迭代的模型開發流程嚴重脫節。為了解決這一長期存在的痛點,來自學界的研究團隊提出了SOLAR(Speed-of-Light Analysis Runner)框架,這是一個完全自動化的系統,能夠直接從PyTorch和JAX原始碼中推匯出經過嚴格驗證的SOL效能界限。

SOLAR的創新之處在於其混合流程,它將生成式人工智慧與確定性方法巧妙結合。首先,系統利用一個大語言模型(LLM)前端將任意源程式翻譯為可執行的仿射迴圈中間表示(Affine Loop IR),並透過輸出比對的零違規驗證機制確保轉換的準確性。隨後,一個確定性流程將該中間表示提升為愛因斯坦求和圖(einsum graph),最終由分析後端計算出未融合、融合以及快取感知等多層次的SOL界限。這種設計不僅覆蓋了廣泛的運算元和程式語言,還提供了多保真度分析能力,能夠在不同抽象級別上收緊界限,從而揭示更深層的最佳化機會。

研究團隊在多個主流基準上對SOLAR進行了全面評估,包括KernelBench、JAX/Flax模型以及機器人工作負載。實驗結果表明,SOLAR生成的界限在所有測試中均未出現違規,且多保真度分析有效識別了程式碼中的效能瓶頸。具體而言,框架展示了四個關鍵用例:在不同保真度級別上進行淨空分析(headroom analysis),幫助開發者瞭解最佳化空間;自動識別潛在的最佳化機會;跨平臺探索不同硬體上的效能表現;以及透過逆屋頂線(inverse-roofline)分析指導硬體資源配置。這些能力將手動、易錯的分析過程轉變為自動化、可重複的流水線。

SOLAR的釋出標誌著效能分析自動化邁出了重要一步。透過消除手動推導中的不確定性和延遲,該框架使研究者和工程師能夠更快速地評估最佳化效果,更明智地分配硬體資源,從而加速深度學習模型的部署與迭代。論文的完整細節已公佈於arXiv(編號2606.26383),相關程式碼與資料集預計將在未來開源,為社群提供可複用的工具。