Colibrì概念実証：25GBメモリで1.5TBのAIモデルを実行

AIサブスクリプションのコスト上昇とデータプライバシーの懸念から、ホームラボで大規模言語モデル（LLM）やエージェントを実行することが徐々に人気を集めています。しかし、Nvidia NVL72ラックはほとんどの人にとって手が届かず、愛好家は限られたメモリで動作するモデルで妥協せざるを得ません。イタリアのエンジニアVincenzo（別名JustVugg）は、両方を手に入れたいと考え、Colibrìを作成しました。これは、控えめなCPU、わずか25GBのRAM、1GB/sの仮想NVMeドライブ上で、7440億パラメータ、1.5TBのGLM-5.2モデルを実行します。Colibrìの速度はVincenzoのセットアップで平均0.05〜0.1トークン/秒と、実用的な会話にはほど遠く、1つの質問に数時間かかることもあります。それでも、GLM-5.2はMixture-of-Experts（MoE）モデルであり、AnthropicやOpenAIなどの最高の製品に匹敵する最先端の能力を持っています。回答品質は優れており、Vincenzoの限定的なテストでも印象的な結果が得られました。Colibrìの仕組みは単純ですが、実装は困難です。モデルをスライスしてRAMにロードするというものです。MoEモデルは数百のエキスパートサブモデルを含み、クエリごとではなくトークンごとに選択されます。各トークンに対して、モデルは最適なエキスパートを活性化します。通常、モデルの大部分または全体が相互接続されたデータセンターGPUにロードされますが、ColibrìはMoEアーキテクチャを利用して、トークンごとに必要なエキスパートを繰り返しロード/アンロードすることで、安価なマシンでも大規模モデルを使用できるようにします。速度と簡素化のため、Colibrìのエキスパート選択コードは依存関係が非常に少ない単一のCファイルです。また、GLM-5.2モデルは量子化されてサイズが削減されています。このロード/アンロード方式はストレージI/Oとメモリ帯域幅に大きな負荷をかけます。NVMeストレージ速度が最初の主要ボトルネックですが、構成によってボトルネックは異なります。Colibrìは現在概念実証であり、GPU上ではまだ動作しませんが、GPUでもデータの転送が最大の制約になるでしょう。このプロジェクトはリリースされたばかりですが、すでに人気を集めています。Vincenzoはベンチマークデータを収集し、修正を進めています。ぜひリポジトリを訪れ、貢献してください。将来的には、ハイエンドのコンシューマーハードウェア上で、十分な速度で本当に賢いモデルを実行できるようになるかもしれません。