MawForge：面向本地混合专家推理的内存受限专家物化
这篇论文介绍了MawForge系统，通过将完整模型存储在磁盘上，按需将路由专家物化到有限执行缓存中，使得在内存受限的统一内存机器上实现稀疏混合专家（MoE）语言模型的实用本地推理成为可能。研究发现MawForge作为有限执行机制和测量基板有效，但并非缓存最大化策略。
近日，一篇题为《MawForge: Memory-Bounded Expert Materialization for Local Mixture-of-Experts Inference》的论文在arXiv上发布。该论文由Craig Opie撰写，深入探讨了如何在内存受限的设备上高效运行大型稀疏混合专家（MoE）语言模型。MoE模型通过将总参数量与每个token的实际计算量分离，理论上可以减少计算成本，但在本地推理时，整个模型、KV缓存、运行时缓冲区以及操作系统开销通常需要全部容纳在快速内存中，这对统一内存架构的设备构成了严峻挑战。
MawForge提出了一种创新的系统假设：通过在磁盘上存储完整模型，同时将常用张量保留在内存中，并按需将路由专家张文物化到一个有限的执行缓存中，从而在受限的统一内存机器上实现实用的本地MoE服务。这种方法打破了传统上要求模型完全驻留内存的限制，为资源受限环境下的AI推理提供了新的可能。
研究的主要发现是，MawForge作为一个有限执行机制和本地MoE推理的测量基板是有效的，但并非一种缓存最大化策略。论文强调，性能取决于多个因素的精细平衡，包括专家重用率、常驻内存占用、KV缓存大小、量化程度、路由局部性以及macOS的内存压力。这些因素相互影响，需要根据具体硬件和模型进行调优。
该论文提交于2026年6月17日，共7页，属于机器学习（cs.LG）领域，ACM分类为C.4、D.4.2和I.2.7。论文还提供了相关代码和数据的链接，便于研究者复现实验和进一步探索。这项研究为在边缘设备、移动终端等资源受限平台上部署大型语言模型提供了重要的理论基础和实践指导，有望推动本地AI推理技术的发展。