MawForge：面向本地混合專家推理的內存受限專家物化
這篇論文介紹了MawForge系統，通過將完整模型存儲在磁盤上，按需將路由專家物化到有限執行緩存中，使得在內存受限的統一內存機器上實現稀疏混合專家（MoE）語言模型的實用本地推理成為可能。研究發現MawForge作為有限執行機制和測量基板有效，但並非緩存最大化策略。
近日，一篇題為《MawForge: Memory-Bounded Expert Materialization for Local Mixture-of-Experts Inference》的論文在arXiv上發佈。該論文由Craig Opie撰寫，深入探討了如何在內存受限的設備上高效運行大型稀疏混合專家（MoE）語言模型。MoE模型通過將總參數量與每個token的實際計算量分離，理論上可以減少計算成本，但在本地推理時，整個模型、KV緩存、運行時緩衝區以及操作系統開銷通常需要全部容納在快速內存中，這對統一內存架構的設備構成了嚴峻挑戰。
MawForge提出了一種創新的系統假設：通過在磁盤上存儲完整模型，同時將常用張量保留在內存中，並按需將路由專家張文物化到一個有限的執行緩存中，從而在受限的統一內存機器上實現實用的本地MoE服務。這種方法打破了傳統上要求模型完全駐留內存的限制，為資源受限環境下的AI推理提供了新的可能。
研究的主要發現是，MawForge作為一個有限執行機制和本地MoE推理的測量基板是有效的，但並非一種緩存最大化策略。論文強調，性能取決於多個因素的精細平衡，包括專家重用率、常駐內存佔用、KV緩存大小、量化程度、路由局部性以及macOS的內存壓力。這些因素相互影響，需要根據具體硬件和模型進行調優。
該論文提交於2026年6月17日，共7頁，屬於機器學習（cs.LG）領域，ACM分類為C.4、D.4.2和I.2.7。論文還提供了相關代碼和數據的鏈接，便於研究者復現實驗和進一步探索。這項研究為在邊緣設備、移動終端等資源受限平台上部署大型語言模型提供了重要的理論基礎和實踐指導，有望推動本地AI推理技術的發展。