Mesh LLM：基於iroh的分散式AI計算

當人們想到執行大型語言模型時，通常會想到資料中心——一排排屬於他人的GPU、按量計費的API以及每月增長的賬單。你將提示傳送到一個黑盒，並希望價格、模型和隱私政策在你簽約時保持不變。

對於許多團隊來說，這是一個糟糕的交易。你放棄了控制模型何時更新、資料去向何處以及執行工作負載的硬體的能力。隨著使用量的增長，賬單也隨之增加，除了“付更多錢”之外別無選擇。

Mesh LLM提供了一種不同的形態。它將你已經擁有的GPU和記憶體彙集起來，跨越多臺機器，並將整個系統暴露為一個OpenAI相容的API。啟動一個節點，以後可以新增更多。讓網格決定模型是在你面前的機器上執行、路由到對等節點，還是拆分到多臺機器上。

問題：AI昂貴且屬於他人

流行的模型是龐然大物。大多數人透過UI或API金鑰接觸它們，並向大型提供商支付執行費用。這很方便，但也是一種投降。你無法控制模型何時更新、執行在什麼記憶體中或底層是什麼硬體。

許多依賴這些模型的企業和服務希望相反的情況：更多的控制、更多的可插拔性和更低的成本。他們在辦公室、壁櫥和桌子下面有GPU。他們缺少的是讓這些機器像一個整體一樣工作的方法。

Mesh LLM：自己執行模型

這個想法很簡單：在不購買更大GPU的情況下執行更大的模型。與你的團隊私下共享計算，或與全世界公開共享，以支援智慧體和聊天。將任何OpenAI客戶端指向http://localhost:9337/v1，然後不再關心實際工作在哪裡完成。

在底層，Mesh LLM將模型計算分佈到一個由iroh端點組成的網格中。請求可以透過三種方式處理：

• 在此機器的GPU上本地執行。
• 路由到已載入模型的對等節點。
• 將任何單個盒子都無法容納的模型拆分到多臺機器上，作為流水線。

工作原理

架構是可插拔的。外掛在清單中宣告它們提供的內容，執行時啟動它們，路由呼叫，並透過MCP、HTTP、推理和網格事件暴露其功能。目錄包含40多種模型，從適合筆記型電腦的5億引數模型到235B的混合專家巨人。

對於巨人模型，Mesh LLM有一個拆分模式（內部稱為“Skippy”）。模型按層範圍分割槽成階段：第一個節點上的第0到15層，下一個節點上的第16到31層，以此類推。啟用值從一個階段流到下一個階段，因此幾臺普通的機器可以執行它們中任何一臺都無法單獨容納的模型。OpenAI客戶端永遠不會看到這些，它仍然只與localhost通訊。

如何使用iroh

每個節點，無論是提供服務模型還是隻傳送請求，都會啟動一個iroh端點。該端點是節點的身份、公鑰及其唯一的網路表面。沒有中央伺服器。iroh處理打洞、NAT穿透和中繼回退，以在任何兩個節點之間建立直接的、經過身份驗證的QUIC連線，無論它們位於何處。

為了在開放網際網路上保持工作，Mesh LLN在兩個不同區域執行兩個iroh中繼，因此無法直接相互到達的節點總是有一個附近的回退路徑。

整個協議基於QUIC的ALPN協商。有三個：

• mesh-llm/1：主網格：八卦、路由、HTTP隧道、外掛通道
• mesh-llm-control/1：所有者控制平面（配置同步、所有權認證）
• skippy-stage/2：用於拆分模型的延遲敏感啟用傳輸

在主mesh-llm/1連線內部，一切都是雙向的QUIC流，帶有一個指示流型別的單位元組標籤。一個連線承載八卦、推理、路由查詢和對等生命週期事件，全部由第一個位元組解複用。

這種設計的好處是：iroh提供了經過身份驗證、支援NAT遍歷的QUIC連線，透過公鑰定址。因此，“路由到對等節點”和“將啟用流式傳輸到下一個流水線階段”變成了與“與localhost通訊”相同的原語，只是端點ID不同。網路不再是需要考慮的事情。

iroh提供安全傳輸。Mesh LLM在其之上構建了自己的八卦層，因此它可以精確控制誰被允許加入網格、哪些版本相容以及哪些對等節點值得信任。

入門

使用者可以安裝輕量級軟體（約18MB），然後加入公共網格或配置私有部署。系統以localhost:9337/v1向任何標準OpenAI客戶端呈現。

移動應用程式即將推出，基於iroh的Swift SDK構建。計劃支援ACP（新興的智慧體標準），以便其他客戶端也可以加入網格。主線與激勵整個專案的理念相同：更多的點對點，更少的封閉伺服器，沒有鎖定。

請參閱程式碼

Mesh LLM 網站

Iroh是一種可連線任何裝置的網路庫，它只需工作即可。從現成協議生態系統中組合所需功能，或者完全自定義對原始管道的抽象。Iroh是開源的，已經在數十萬臺裝置上投入生產。 要開始，請檢視我們的文件，直接深入程式碼，或透過Discord頻道與我們交流。