本地模型用于编码的可行性

Thoughtworks 杰出工程师 Birgitta Böckeler 近日发布技术笔记，重新审视了本地运行 AI 模型进行编码的可行性。她此前因失望而长期未使用本地模型，但近期众多关于模型进步的声称促使她再次投入实验。本文是她基于 M3 Max（48GB RAM）和 M5 Pro（64GB RAM）两款 Apple Silicon 机器，为期约四周的实践经验总结。

Böckeler 主要关注代理编码（agentic coding）场景，而非简单的自动补全。她评估了影响模型可行性的众多因素，包括 RAM、处理能力、内存带宽、参数量、推理能力、工具调用能力、模型格式、量化级别、架构（如 MoE）以及上下文窗口大小等。她强调，这些因素相互交织，使得评估最佳配置变得复杂。

RAM 是最核心的约束条件。模型权重必须适配可用内存，否则会崩溃或速度极慢。在 48GB 机器上，她主要使用 15-25GB 的模型，30GB 模型则逼近极限；64GB 机器上她曾运行 48GB 模型，但随后崩溃。处理速度方面，两个机器的表现均比一年前有巨大提升，但会随对话长度增加而下降。内存带宽方面，两台机器均约 300 GB/s，未明显成为瓶颈。

参数量方面，更大参数通常带来更好质量，但也需要更多 RAM。她尝试了 Qwen3 和 Gemma 4 系列，其中 Qwen3.6 35B MoE 在参数数量与 RAM 消耗间取得了最佳平衡。推理功能默认开启，但她发现小模型常陷入推理死循环，关闭后不仅速度更快，性能也持平或略优。工具调用是代理编码的关键，模型常产生格式错误的调用，但通常能自我修正。格式方面，GGUF 和 MLX 的体感速度差异不大。量化方面她仅尝试了 Q4/4BIT。上下文窗口至少需要 32K-64K，这进一步消耗 RAM。

她使用的具体模型包括：Qwen3.6 35B-A3B MoE Q4 GGUF（22 GB）、Qwen3.6 Coder Next 80B MoE GGUF（45 GB）、Gemma 4 12B Q4 GGUF（7.5 GB）、Gemma 4 26B 4BIT MLX（15.6 GB）和 Gemma 4 31B 4BIT MLX（29 GB）。运行时方面，她主要使用 LM Studio，因其用户体验良好；同事中最常提到的替代方案是 oMLX。

Böckeler 总结道，本地模型在自动补全场景下已较为可用，但用于代理编码时质量仍参差不齐，远不及大型云模型。后续笔记将详述具体编码任务的体验。