迈向本地即插即用的人工智能

要点

• MoE架构在有限VRAM和大量系统RAM时通过专家卸载实现高效推理，但存在一致性问题。
• 各类注意力机制（GQA、MLA、SWA、Gated DeltaNet等）在内存和性能上各有优劣。
• 推测解码（如MTP起草器）可提升推理速度达3倍而不损失质量。
• 硬件配置决定上限，但软件优化（如量化、卸载）能带来3-5倍的性能差异。