AIスロップマシンを作った

筆者は人間であり、ブログのすべての単語を自身の声で書いている。それにもかかわらず、彼は「AIスロップマシン」を構築した。これは、大規模言語モデル（LLM）のローカル実行専用に設計されたコンピュータである。

背景として、アメリカと中国のAIラボは、Qwen、Gemma、gpt-ossなど、ますます強力なオープンウェイトのLLMをリリースしている。これらのモデルはコンシューマー向けコンピュータで自己ホストでき、データ漏洩の心配がなく、サブスクリプション料金もなく、広告もなく、モデルへのアクセスを失うこともなく、AIデータセンターへの需要を増やすこともないという利点がある。実行時の消費電力は最大でも数百ワットで、ゲーム機と同程度である。

筆者は日常的に使用する13世代Intel Framework 13ノートパソコンでは、48GBのシステムRAMがあるものの、DDR4メモリ帯域幅（約50GB/s）がボトルネックとなり、LLMの実行が困難であった。混合専門家モデルでは毎秒数トークン、高密度モデルでは毎秒1トークン未満の速度であり、インタラクティブな作業には不向きだった。そのため、これまではKagi AssistantやOpenRouterなどのクラウドサービスに依存していた。

同時に、AIラボやネオクラウドはRAMとGPU市場を逼迫させ、LLM対応コンピュータ（ひいてはすべてのコンピュータ）の価格を上昇させている。この状況が続けば、ハードウェア価格の高騰が長期化する可能性がある。そこで筆者は、強力なLLMをローカルで効率的に動作させるために、新しいハードウェアへの投資を決意した。

モデル選定では、Qwen 3.6 27Bに注目した。この中国製モデルは、LiveBenchなどのベンチマークでDeepSeek V3.2など大規模モデルを凌駕する性能を示し、コミュニティでも好評である。高密度モデルであり、与えられたVRAMに対して最高の「知能」を提供し、量子化耐性も高い。代替案として、GoogleのGemma 4 31Bや、より高速な混合専門家モデル（Qwen 3.6 35B-A3B、Gemma 4 26B-A4B）も検討した。

ハードウェア選定では、Qwen 3.6 27Bを4ビット量子化で実行するために32GB以上のVRAM、快適な読み取り速度（20-30トークン/秒以上）のためのメモリ帯域幅、エージェントワークロードに必要な高速なコンテキストプリフィルを条件とした。MacはVRAMと帯域幅に優れるが計算能力が弱く、DGX Sparkは帯域幅が限られている。最終的に、32GB VRAMのRadeon AI Pro R9700 GPU（1349ドル）を、Thunderbolt 3経由でThinkpad T480に接続するeGPUドック構成を選択した。ThunderboltはPCIe 3.0の2レーンしか提供しないが、モデル重みのロード後は帯域幅集約処理がGPU内で完結するため、性能への影響は限定的である。

このマシンはサーバーとしてセットアップされ、SSHトンネル経由で別のノートパソコンからAPI呼び出しを行う。クライアントはOpenAI互換APIとして認識するため、物理的な位置や構成を意識する必要がない。

設定とチューニングでは、llama.cppやvLLMなどの推論エンジンの選択や、マルチトークン予測などのパラメータ調整を行い、最終的にQwen 3.6 27BをフルGPU性能で動作させることに成功した。また、Piコーディングエージェントと協力し、実験結果を体系的に記録するワークスペースを構築した。

総じて、筆者は慎重なハードウェアとモデルの選択により、効率的でプライベート、かつ経済的なローカルLLM推論サーバーを実現したのである。