コーディングにおけるローカルモデルの実用性

Thoughtworks の Distinguished Engineer Birgitta Böckeler は、コーディングにおけるローカル AI モデルの実用性を再評価する技術メモを公開した。彼女は以前、失望から長期間ローカルモデルを使用していなかったが、最近の進歩に関する多くの主張に触発され、M3 Max（48GB RAM）と M5 Pro（64GB RAM）の 2 台の Apple Silicon マシンで約 4 週間にわたり実験を行った。

本稿は主にエージェンティックコーディング（自律的なコーディング支援）を対象としており、単なる自動補完ではない。Böckeler は、RAM、処理能力、メモリ帯域幅、パラメータ数、推論能力、ツール呼び出し能力、モデル形式、量子化レベル、アーキテクチャ（MoE など）、コンテキストウィンドウサイズなど、結果に影響を与える多様な要因を評価した。これらの要因は相互に作用するため、最適な構成を見極めるのは容易ではない。

RAM は最も重要な制約である。モデルの重みが利用可能メモリに収まらないと、クラッシュしたり極端に遅くなったりする。48GB マシンでは主に 15～25GB のモデルを使用し、30GB モデルは限界に近かった。64GB マシンでは 48GB モデルを実行したが、その後クラッシュした。処理速度は昨年に比べて大幅に向上したが、会話が長くなるにつれて低下する。メモリ帯域幅は両マシンとも約 300 GB/s で、特に問題にはならなかった。

パラメータ数が多いほど一般的に品質は高いが、より多くの RAM を必要とする。彼女は Qwen3 と Gemma 4 シリーズを試し、Qwen3.6 35B MoE がパラメータ数と RAM 使用量のバランスに最も優れていると感じた。推論機能はデフォルトで有効だが、特に小規模モデルでは思考の無限ループに陥ることが多く、無効にしたところ速度が向上し、性能も同等かそれ以上になった。ツール呼び出しはエージェンティックコーディングに不可欠だが、モデルはしばしば不正な形式の呼び出しを生成する。それでも自己修正できる場合が多い。形式（GGUF と MLX）の違いは体感速度に大きな差をもたらさなかった。量子化は Q4/4BIT のみ使用した。コンテキストウィンドウは最低 32K～64K 必要であり、これも RAM を消費する。

使用したモデルは以下の通り：Qwen3.6 35B-A3B MoE Q4 GGUF（22 GB）、Qwen3.6 Coder Next 80B MoE GGUF（45 GB）、Gemma 4 12B Q4 GGUF（7.5 GB）、Gemma 4 26B 4BIT MLX（15.6 GB）、Gemma 4 31B 4BIT MLX（29 GB）。ランタイムには主に LM Studio を採用し、そのユーザーエクスペリエンスの良さを評価した。同僚から最もよく挙がった代替案は oMLX だった。

Böckeler は、ローカルモデルは自動補完には十分実用的だが、エージェンティックコーディングでは品質にばらつきがあり、大規模クラウドモデルには及ばないと結論付けている。具体的なコーディングタスクの結果は後続のメモで詳述される予定である。