ローカルでオープンウェイトモデルを実行する際の難しい部分は、そもそもモデルそのものではありません。VRAMスペックの確認、どの量子化が収まるかの推測、コンテキスト長とGPUレイヤー数の設定、そしてロード時にファイルが3GB大きすぎると判明する、といった直前の作業こそが障壁でした。Nous Researchは、この一連の流れをHermes Desktopのワンクリック操作に凝縮しました。新しくなった簡単セットアップフローは、ハードウェアを読み取り、収まるモデルを選び、ウェイトをダウンロードし、推論ランタイムを自動設定します。
実際にデプロイできるのか？ できます。Hermes Desktopは、オープンソースのHermes AgentのMITライセンス・無料ビルドで、macOS 12以降、Windows 10/11、あらゆるLinuxディストリビューションに対応し、ローカルモデルを使うのにアカウントは一切不要です。
発表の中身は明確で具体的です。Hermes Desktopはローカルモデルをワンクリックでセットアップできるようになり、ハードウェアを読み取り、モデルを選び、ダウンロードしてランタイムを構成します。このフローは初回起動時に自動的に表示され、後からはSettings → Providers → Local Modelsで開けます。
内部ではHermesが推論エンジンを自分で管理します。Local Modelsのドキュメントによると、ハードウェアに一致する公式llama.cppビルド（数百MB）を取得し、検証して最新状態に保ちます。バックエンドはCUDA、Metal、Vulkan、HIP、CPUに対応。固定リリースタグはconfig.yamlのlocal_runtimeブロックにあり、デスクトップUIが自動で書き込み、ヘッドレスユーザーは手動で設定可能です。
ダウンロード前に、カタログの各モデルが個別のマシン向けに評価されます。各行にはメモリ適合の判定が付き、緑はGPUメモリに完全に収まる状態、黄はシステムRAMにあふれて遅くなる状態、赤はこのマシンでは大きすぎる状態を意味します。さらに、開始時と最大のコンテキストウィンドウ、選択されたビルドのダウンロードサイズも表示されます。
量子化の選択は1つのルールに従います。HermesはGPU上で完全に動作する最高品質のビルドを選び、メモリが少ないマシンには同じモデルのよりコンパクトなビルドを選びます。下限は4ビットに設定されています。これより低いと品質劣化が深刻すぎるとNous Researchは判断するため、4ビットビルドをあふれずに実行できないマシンは、そのモデルを実行できません。収まらないモデルは理由付きで表示され続けるため、追加VRAMで何が解決するかを正確に確認できます。
ローカル推論の成否はメモリ配置で決まりますが、Hermesには調整用のつまみはありません。モデルのコンテキストウィンドウはGPUに完全に収まる値から始まり、会話の必要に応じてネイティブ最大値まで拡大します。推奨モデルはすべて、少なくとも64Kウィンドウが保証されます。オフロード順序が興味深い設計判断です。モデルがGPUメモリを超える場合、Hermesは害が最も少ない順序でシステムRAMにオーバーフローを配置します。エキスパート重みが最初で、アテンションキャッシュは決して配置されません。これはスループットを犠牲にしてコンテキスト保証を守る設計です。会話圧縮はモデルが最大ウィンドウに達した後にのみ開始されるため、要約よりも拡張が常に優先されます。アイドル状態のモデルは15分後にアンロードされ、次のメッセージで再度ロードされます。