Mesh LLM：基於iroh的分佈式AI計算

當人們想到運行大型語言模型時，通常會想到數據中心——一排排屬於他人的GPU、按量計費的API以及每月增長的賬單。你將提示發送到一個黑盒，並希望價格、模型和隱私政策在你簽約時保持不變。

對於許多團隊來説，這是一個糟糕的交易。你放棄了控制模型何時更新、數據去向何處以及運行工作負載的硬件的能力。隨着使用量的增長，賬單也隨之增加，除了“付更多錢”之外別無選擇。

Mesh LLM提供了一種不同的形態。它將你已經擁有的GPU和內存彙集起來，跨越多台機器，並將整個系統暴露為一個OpenAI兼容的API。啓動一個節點，以後可以添加更多。讓網格決定模型是在你面前的機器上運行、路由到對等節點，還是拆分到多台機器上。

問題：AI昂貴且屬於他人

流行的模型是龐然大物。大多數人通過UI或API密鑰接觸它們，並向大型提供商支付運行費用。這很方便，但也是一種投降。你無法控制模型何時更新、運行在什麼內存中或底層是什麼硬件。

許多依賴這些模型的企業和服務希望相反的情況：更多的控制、更多的可插拔性和更低的成本。他們在辦公室、壁櫥和桌子下面有GPU。他們缺少的是讓這些機器像一個整體一樣工作的方法。

Mesh LLM：自己運行模型

這個想法很簡單：在不購買更大GPU的情況下運行更大的模型。與你的團隊私下共享計算，或與全世界公開共享，以支持智能體和聊天。將任何OpenAI客户端指向http://localhost:9337/v1，然後不再關心實際工作在哪裏完成。

在底層，Mesh LLM將模型計算分佈到一個由iroh端點組成的網格中。請求可以通過三種方式處理：

• 在此機器的GPU上本地運行。
• 路由到已加載模型的對等節點。
• 將任何單個盒子都無法容納的模型拆分到多台機器上，作為流水線。

工作原理

架構是可插拔的。插件在清單中聲明它們提供的內容，運行時啓動它們，路由調用，並通過MCP、HTTP、推理和網格事件暴露其功能。目錄包含40多種模型，從適合筆記本電腦的5億參數模型到235B的混合專家巨人。

對於巨人模型，Mesh LLM有一個拆分模式（內部稱為“Skippy”）。模型按層範圍分區成階段：第一個節點上的第0到15層，下一個節點上的第16到31層，以此類推。激活值從一個階段流到下一個階段，因此幾台普通的機器可以運行它們中任何一台都無法單獨容納的模型。OpenAI客户端永遠不會看到這些，它仍然只與localhost通信。

如何使用iroh

每個節點，無論是提供服務模型還是隻發送請求，都會啓動一個iroh端點。該端點是節點的身份、公鑰及其唯一的網絡表面。沒有中央服務器。iroh處理打洞、NAT穿透和中繼回退，以在任何兩個節點之間建立直接的、經過身份驗證的QUIC連接，無論它們位於何處。

為了在開放互聯網上保持工作，Mesh LLN在兩個不同區域運行兩個iroh中繼，因此無法直接相互到達的節點總是有一個附近的回退路徑。

整個協議基於QUIC的ALPN協商。有三個：

• mesh-llm/1：主網格：八卦、路由、HTTP隧道、插件通道
• mesh-llm-control/1：所有者控制平面（配置同步、所有權認證）
• skippy-stage/2：用於拆分模型的延遲敏感激活傳輸

在主mesh-llm/1連接內部，一切都是雙向的QUIC流，帶有一個指示流類型的單字節標籤。一個連接承載八卦、推理、路由查詢和對等生命週期事件，全部由第一個字節解複用。

這種設計的好處是：iroh提供了經過身份驗證、支持NAT遍歷的QUIC連接，通過公鑰尋址。因此，“路由到對等節點”和“將激活流式傳輸到下一個流水線階段”變成了與“與localhost通信”相同的原語，只是端點ID不同。網絡不再是需要考慮的事情。

iroh提供安全傳輸。Mesh LLM在其之上構建了自己的八卦層，因此它可以精確控制誰被允許加入網格、哪些版本兼容以及哪些對等節點值得信任。

入門

用户可以安裝輕量級軟件（約18MB），然後加入公共網格或配置私有部署。系統以localhost:9337/v1向任何標準OpenAI客户端呈現。

移動應用程序即將推出，基於iroh的Swift SDK構建。計劃支持ACP（新興的智能體標準），以便其他客户端也可以加入網格。主線與激勵整個項目的理念相同：更多的點對點，更少的封閉服務器，沒有鎖定。

請參閲代碼

Mesh LLM 網站

Iroh是一種可連接任何設備的網絡庫，它只需工作即可。從現成協議生態系統中組合所需功能，或者完全自定義對原始管道的抽象。Iroh是開源的，已經在數十萬台設備上投入生產。 要開始，請查看我們的文檔，直接深入代碼，或通過Discord頻道與我們交流。