AirLLM：単一4GB GPUで2.8TパラメータのKimi K3を推論
AirLLM は、レイヤー単位でモデルをロードすることで、超大規模 LLM を低 VRAM GPU でも実行できるようにするオープンソースの推論フレームワークです。最新版では 2.8T パラメータの Kimi K3 を約 3.72GB の VRAM で推論可能。同じ AutoModel API で DeepSeek-V3 や Qwen3-235B なども実行でき、4bit/8bit 圧縮による高速化にも対応しています。
AirLLM は、超大規模な LLM を低 VRAM の GPU でも実行できるようにするオープンソースの推論フレームワークです。従来のようにモデル全体を GPU に常駐させるのではなく、推論時にレイヤー単位でモデルをロードし、一度に 1 層だけを GPU に載せることで、必要 VRAM をモデル全体のサイズではなく単層のサイズに依存させています。2026 年 7 月のアップデートで、現時点で最大のオープンソースモデルとなる Kimi K3（2.8T パラメータ）をサポートし、RTX 6000 Ada 1 枚で約 3.72GB の VRAM によるエンドツーエンドの推論を実現しました。K3 では「エキスパートごとのストリーミング読み込み」により、トークンが実際にルーティングするエキスパートだけをロードするため、VRAM 消費を大幅に抑えています。
ただし、K3 を動かすには追加の要件があります。K3 のモデルコードは flash attention を強制するため、compressed-tensors と flash-attn のインストールが必要です。また、CUDA 13 向けの flash-attn wheel がまだ存在しないため、CUDA 12 ビルドの PyTorch を使う必要があります。さらに transformers は 4.56.x を使う必要があり、5.x では K3 の remote code が読み込めません。利用方法は非常にシンプルで、airllm をインストールした後、AutoModel.from_pretrained() に Hugging Face のモデル ID またはローカルパスを渡すだけです。例えば Qwen/Qwen3-32B をそのまま実行でき、同じ 1 行で Qwen3-235B-A22B（約 3GB VRAM）や deepseek-ai/DeepSeek-V3（671B、約 12GB）にも切り替えられます。初回推論時には元のモデルがレイヤーごとに分割・保存されるため、Hugging Face キャッシュディレクトリには十分なディスク容量が必要です。
AirLLM には、ブロック単位の量子化を用いたモデル圧縮機能もあり、最大で約 3 倍の推論高速化をほぼ無視できる精度低下で実現します。利用するには bitsandbytes をインストールし、モデル初期化時に compression='4bit' または compression='8bit' を指定します。通常の量子化が重みと活性値の両方を量子化するのに対し、AirLLM ではボトルネックがディスク読み込みにあるため、重みだけを量子化すればよく、精度を保ちやすいという特徴があります。設定項目としては compression、profiling_mode、layer_shards_saving_path、hf_token、prefetching、delete_original などがあります。prefetching はデフォルトで有効で、モデルの読み込みと計算を重ねることで約 10% 高速化します。delete_original を有効にすると、分割後に元モデルを削除してディスク消費を約半分に抑えられます。macOS でも Apple Silicon 上で動作し、mlx と torch をインストールすれば同じ Python コードで 70B 級モデルを実行できます。
対応モデルは幅広く、Llama 2/3/3.1/3.3/4、Qwen 1/2/2.5/3（MoE・FP8 含む）、DeepSeek V2/V3/R1、Mistral と Mixtral、Phi、Gemma、ChatGLM、Baichuan、InternLM、Yi など、主要なオープン LLM をカバーしています。公式の例によると、約 8B モデルは 1〜2GB VRAM、Qwen3-235B は約 3GB、Llama 3.1 405B は約 8GB、DeepSeek-V3 は約 12GB で動作します。バージョン履歴を振り返ると、2023 年 11 月の初版リリース以降、safetensors 対応、ChatGLM/QWen/Baichuan/Mistral/InternLM 対応、AutoModel による自動検出、Mixtral 対応、macOS での 70B モデル実行、2024 年 4 月の Llama3 70B を 4GB 単一 GPU で実行する対応、2024 年 7 月の Llama3.1 405B と 8bit/4bit 量子化、2024 年 8 月の Qwen2.5 と CPU 推論、2026 年 6 月の v3.0 での FP8 モデル対応と DeepSeek-V3・Qwen3-235B 実行、そして 2026 年 7 月の Kimi K3 サポートへと進化してきました。
よくある問題としては、MetadataIncompleteBuffer エラーはディスク容量不足が原因であることが多く、モデル分割はディスクを大量に消費します。QWen や ChatGLM を読み込む際に ValueError が出た場合は、AirLLMLlama2 ではなく AutoModel を使う必要があります。ゲート付きモデルには hf_token を渡し、tokenizer に padding token がない場合は padding をオフにするか手動で設定します。このプロジェクトは現在 25.1k スター、2.8k フォークを獲得しており、Apache-2.0 ライセンスで提供されています。