MawForge：面向本地混合專家推理的記憶體受限專家物化
這篇論文介紹了MawForge系統，透過將完整模型儲存在磁碟上，按需將路由專家物化到有限執行快取中，使得在記憶體受限的統一記憶體機器上實現稀疏混合專家（MoE）語言模型的實用本地推理成為可能。研究發現MawForge作為有限執行機制和測量基板有效，但並非快取最大化策略。
近日，一篇題為《MawForge: Memory-Bounded Expert Materialization for Local Mixture-of-Experts Inference》的論文在arXiv上釋出。該論文由Craig Opie撰寫，深入探討了如何在記憶體受限的裝置上高效執行大型稀疏混合專家（MoE）語言模型。MoE模型透過將總引數量與每個token的實際計算量分離，理論上可以減少計算成本，但在本地推理時，整個模型、KV快取、執行時緩衝區以及作業系統開銷通常需要全部容納在快速記憶體中，這對統一記憶體架構的裝置構成了嚴峻挑戰。
MawForge提出了一種創新的系統假設：透過在磁碟上儲存完整模型，同時將常用張量保留在記憶體中，並按需將路由專家張文物化到一個有限的執行快取中，從而在受限的統一記憶體機器上實現實用的本地MoE服務。這種方法打破了傳統上要求模型完全駐留記憶體的限制，為資源受限環境下的AI推理提供了新的可能。
研究的主要發現是，MawForge作為一個有限執行機制和本地MoE推理的測量基板是有效的，但並非一種快取最大化策略。論文強調，效能取決於多個因素的精細平衡，包括專家重用率、常駐記憶體佔用、KV快取大小、量化程度、路由區域性性以及macOS的記憶體壓力。這些因素相互影響，需要根據具體硬體和模型進行調優。
該論文提交於2026年6月17日，共7頁，屬於機器學習（cs.LG）領域，ACM分類為C.4、D.4.2和I.2.7。論文還提供了相關程式碼和資料的連結，便於研究者復現實驗和進一步探索。這項研究為在邊緣裝置、移動終端等資源受限平臺上部署大型語言模型提供了重要的理論基礎和實踐指導，有望推動本地AI推理技術的發展。