Mesh LLM: iroh上での分散AIコンピューティング

大規模言語モデルを実行するというと、一般的にはデータセンターを思い浮かべます。誰か他の人のGPUのラック、メータリングされたAPI、そして成功するたびに増えていく請求書です。プロンプトをブラックボックスに送り、価格、モデル、プライバシーポリシーが契約時と同じままであることを願うことになります。

多くのチームにとって、これは悪い取引です。モデルがいつ変更されるか、データがどこへ行くか、どのハードウェアがワークロードを実行するかを制御できなくなります。使用量が増えるにつれて請求額も増え、「もっと支払う」以外にできることはありません。

Mesh LLMは異なる形をとります。すでに持っているGPUとメモリを、追加したいだけのマシンにわたってプールし、全体を1つのOpenAI互換APIとして公開します。1つのノードから始めて、後で追加します。メッシュが、モデルが目の前のボックスで実行されるか、ピアにルーティングされるか、複数のマシンに分割されるかを決定します。

問題：AIは高価で、他人のものです

人気のあるモデルはモノリスです。ほとんどの人はUIまたはAPIキーを介してそれらにアクセスし、大規模プロバイダーにすべての実行を支払います。それは便利ですが、同時に降伏でもあります。モデルがいつ更新されるか、どのメモリで実行されるか、どのハードウェアが下にあるかを制御できません。

これらのモデルに依存する多くのビジネスやサービスは、その逆を望んでいます。より多くの制御、より多くのプラグイン可能性、低コストです。彼らはオフィス、クローゼット、机の下にGPUを持っています。欠けているのは、それらのマシンを1つのように動作させる方法です。

Mesh LLM：自分でモデルを実行

提案はシンプルです。より大きなGPUを購入せずに、より大きなモデルを実行します。チームとプライベートに、または世界とパブリックにコンピューティングを共有して、エージェントやチャットを強化します。任意のOpenAIクライアントをhttp://localhost:9337/v1に向けて、実際の作業がどこで行われるかを気にしなくなります。

内部では、Mesh LLMはモデルコンピューティングをirohエンドポイントのメッシュ全体に分散します。リクエストは3つの方法で処理できます：

• このマシンのGPUでローカルに実行。
• すでにモデルをロードしているピアにルーティング。
• どの単一ボックスにも大きすぎるモデルを複数のマシンに分割し、パイプラインとして実行。

動作原理

アーキテクチャはプラグイン可能です。プラグインはマニフェストで提供するものを宣言し、ランタイムがそれらを起動し、コールをルーティングし、MCP、HTTP、推論、メッシュイベントを介して機能を公開します。カタログには、ラップトップに収まる5億パラメータモデルから235B混合エキスパート巨大モデルまで、40以上のモデルが含まれています。

巨大モデルには、Mesh LLMには分割モード（内部では「Skippy」）があります。モデルはレイヤー範囲でステージに分割されます。ノード1でレイヤー0〜15、次のノードで16〜31、といった具合にパイプラインを下っていきます。アクティベーションはあるステージから次のステージへ流れるため、複数の平凡なマシンで、どの1台も単独では保持できないモデルを実行できます。OpenAIクライアントはこれを見ることはなく、localhostと通信するだけです。

irohの使用方法

各ノードは、モデルを提供するかリクエストのみを送信するかにかかわらず、irohエンドポイントを起動します。そのエンドポイントはノードのID、公開鍵、および唯一のネットワーク面です。中央サーバーはありません。irohは、どこにいても任意の2つのノード間に直接の認証済みQUIC接続を開くために必要なホールパンチング、NAT越え、リレーフォールバックを処理します。

オープンインターネット全体で機能し続けるために、Mesh LLMは異なるリージョンに2つのirohリレーを実行しているため、直接到達できないノードにも常に近くのフォールバックパスがあります。

プロトコル全体はQUICのALPNネゴシエーションに依存しています。3つあります：

• mesh-llm/1：メインメッシュ：ゴシップ、ルーティング、HTTPトンネル、プラグインチャネル
• mesh-llm-control/1：オーナーコントロールプレーン（設定同期、所有権証明）
• skippy-stage/2：分割モデルのためのレイテンシセンシティブなアクティベーション転送

メインのmesh-llm/1接続内では、すべてが双方向のQUICストリームであり、ストリームの種類を示す単一の先頭バイトでタグ付けされます。1つの接続がゴシップ、推論、ルートクエリ、ピアライフサイクルイベントを運び、すべてその最初のバイトで多重分離されます。

この設計の利点は、irohが公開鍵でアドレス指定可能な、認証済みNAT越えQUICを提供することです。したがって、「ピアにルーティング」と「アクティベーションを次のパイプラインステージにストリーミング」は、「localhostと通信する」と同じプリミティブになり、エンドポイントIDが異なるだけです。ネットワーキングは考える必要のないものになります。

irohは安全なトランスポートを提供します。Mesh LLMはその上に独自のゴシップ層を構築するため、メッシュに誰が参加できるか、どのバージョンが互換性があるか、どのピアを信頼するかを正確に制御できます。

はじめ方

ユーザーは軽量ソフトウェア（約18MB）をインストールし、公開メッシュに参加するか、プライベートデプロイを構成できます。システムはlocalhost:9337/v1として任意の標準OpenAIクライアントに提示されます。

モバイルアプリがまもなく登場し、irohのSwift SDK上に構築されます。計画では、ACP（新興のエージェント標準）をサポートし、他のクライアントもメッシュに参加できるようにすることです。一貫したテーマは、プロジェクト全体を動機付けた同じもの、すなわち、よりピアツーピア、より少ない閉じたサーバー、ロックインなしです。

コードを見る

Mesh LLMウェブサイト

Irohは、あらゆるデバイスにダイヤルできるネットワーキングライブラリで、単純に動作します。既成のプロトコルのエコシステムから必要な機能を組み合わせるか、ダムパイプ上のクリーンな抽象化で完全にカスタムにすることができます。Irohはオープンソースであり、すでに数十万台のデバイスで本番稼働しています。

始めるには、ドキュメントをご覧いただくか、コードに直接飛び込むか、Discordチャンネルでお問い合わせください。