自分のAIを動かしたい。しかし私のラップトップは「まだ無理」と言う

私は完全に自分だけのAIアシスタントを夢見ていた。自分のマシンで動作し、接続不要で、入力したデータが部屋の外に出ることもない。企業がトークンを数えることもなく、サブスクリプションも不要で、誰かのサーバーがダウンして午後が台無しになることもない（Anthropic、あなたの度重なる障害のことを言っているんだ）。それを実現するために数ヶ月を費やし、正直なところどこに辿り着いたかをここに記そう。

24GBはたっぷりに見えるが、モデルを読み込むとすぐに足りなくなる

私のMacには24GBのメモリがある。購入時はこれで十分だと思ったが、実際の言語モデルを読み込むとその数字は急速に縮まる。システムは動作のために一部を確保する必要があり、モデルに使えるのは実質3分の2程度だ。本当に信頼に値するモデルは、その上限かわずかに超えたところに位置する。つまり、快適に収まるが賢くないモデルか、より賢いがマシンを苦しめるモデルかを選ばなければならない。

明らかな解決策はメモリを増やすことだが、最近のメモリ価格をご存知だろうか？タイミングは最悪だ。メモリは久しく購入していない人を驚かせるほど高騰している。DRAMは2025年初頭以来約2倍になり、アナリストは2026年にかけてさらに70%程度上昇すると見ている。ストレージはさらに深刻だ。SSDの原料となるNANDウェハーの価格は昨年半ばの約8倍で、少し前なら250ドルで買えた4TBドライブが今では700ドル以上する。市場が非常に不安定なため、このブログ投稿が公開される頃には数字が完全に変わっているかもしれない。2026年なので、RAMやSSDがいくらになるか誰にもわからない。

この狂気の原因は、現在テクノロジー界の半分のニュースを占めるAIにある。大規模データセンターの建設により、今年は世界のハイエンドメモリの約70%が消費されると見られ、クラウド大手は将来の生産分を数年先まで契約で押さえている。彼らは文字通り、まだ製造されていないチップを買っているのだ。マイクロンは消費者向けブランドCrucialを閉鎖し、AI市場に全力を注いでいる。

考えてみてほしい。プライベートなローカルモデルを魅力的にする同じブームが、そのモデルを適切に動かすハードウェアを私たちから奪っているのだ。自分の財布が痛むのでなければ、もっと面白いと思うのだが。

最初はソフトウェアのせいにした

それを受け入れる前に、私は自分が間違ったツールを選んだのだと確信していた。そこでハーネス（フレームワーク）を探し回った。LLMが脳だとすれば、ハーネスはそれに手を与えるものだ。つまりAIを実際に役立たせるツールだ。Pi、OpenCode、Hermes。それぞれがローカルAIを成功させる鍵だと約束していた。

結局Piを選んだ。その機能のためではなく、単にそこでモデルが最も速く動作し、応答が迅速で、質問との摩擦が少なかったからだ。しかしこの探求で、ハーネスが必ずしもボトルネックではないことを学んだ。何度交換しても同じ壁にぶつかる。その壁とはモデルとそれを支えるメモリだった。インターフェースを変えても、考える余地のないモデルを救うことはできない。

結局、私は自分の実行できるローカルモデルを、間違いが大きなコストを生むような重要なタスクに依存することを信用できないでいる。簡単な言い換え、捨て質問には使える。しかし、本当の判断力が必要なタスクになると、決断する前にほぼ即座にクラウドに戻っている。私は有料アシスタントへの依存から脱却したかった。それが法外に高価だからではなく、クラウド企業の気まぐれや障害から独立したかったからだ。トークンは現在非常に補助されているため、これらのより強力なモデルは遠からず私には手が届かなくなるだろう。

ローカルAIの本当の使い道

しかし、悪い話ばかりではない。ローカルモデルが頻繁に、そして上手くこなす仕事が一つある。それは求人広告の分析だ。

私の就職活動はバックグラウンドバッチとして実行される。スクリプトが求人情報を取得し、明らかなゴミを除外し、残りをラップトップ上のモデルに渡す。モデルは私が書いた簡単な指示に基づいて各広告を読み、適合度を教えてくれる。無料でオフライン。履歴書はマシンから離れることなく、クラウドのAIがダウンしていても機能する。私が追い求めていた独立の一片だが、期待したよりもはるかに小規模だ。

これが機能するのは、新しいモデルの作り方のおかげだ。私が使っているGemmaモデルはMixture-of-Experts設計で、平たく言えば、質問に必要な部分だけを起動し、全体を一度に動かさない。十分軽量で、私のハードウェア上で長時間かからずに推論でき、1件あたり約30秒。日常の合間に黙々と処理するには、30秒は取るに足らない。

だから、まだ無理

私はローカルAIを諦めたわけではない。理想と現実のギャップに苛立っている。24GBと残酷なメモリ市場が今日与えてくれるものとの差だ。しかしMixture-of-Expertsというトリックはすでに一度そのラインを動かした。また動くことを期待する。モデルは単に大きくなるだけでなく、1ギガバイトあたりの知能を向上させ続けており、価格はいずれ落ち着くだろう。数年後の自分は、おそらく何の躊躇もなくすべてをローカルで実行しているだろう。今のところ、たった一つのワークフローだけが自分のハードウェア上で動作し、他はすべてクラウドに依存している。しかしそのたった一つは完全に私のものだ。それは始まりに過ぎない。