Mesh LLM：基于iroh的分布式AI计算

当人们想到运行大型语言模型时，通常会想到数据中心——一排排属于他人的GPU、按量计费的API以及每月增长的账单。你将提示发送到一个黑盒，并希望价格、模型和隐私政策在你签约时保持不变。

对于许多团队来说，这是一个糟糕的交易。你放弃了控制模型何时更新、数据去向何处以及运行工作负载的硬件的能力。随着使用量的增长，账单也随之增加，除了“付更多钱”之外别无选择。

Mesh LLM提供了一种不同的形态。它将你已经拥有的GPU和内存汇集起来，跨越多台机器，并将整个系统暴露为一个OpenAI兼容的API。启动一个节点，以后可以添加更多。让网格决定模型是在你面前的机器上运行、路由到对等节点，还是拆分到多台机器上。

问题：AI昂贵且属于他人

流行的模型是庞然大物。大多数人通过UI或API密钥接触它们，并向大型提供商支付运行费用。这很方便，但也是一种投降。你无法控制模型何时更新、运行在什么内存中或底层是什么硬件。

许多依赖这些模型的企业和服务希望相反的情况：更多的控制、更多的可插拔性和更低的成本。他们在办公室、壁橱和桌子下面有GPU。他们缺少的是让这些机器像一个整体一样工作的方法。

Mesh LLM：自己运行模型

这个想法很简单：在不购买更大GPU的情况下运行更大的模型。与你的团队私下共享计算，或与全世界公开共享，以支持智能体和聊天。将任何OpenAI客户端指向http://localhost:9337/v1，然后不再关心实际工作在哪里完成。

在底层，Mesh LLM将模型计算分布到一个由iroh端点组成的网格中。请求可以通过三种方式处理：

• 在此机器的GPU上本地运行。
• 路由到已加载模型的对等节点。
• 将任何单个盒子都无法容纳的模型拆分到多台机器上，作为流水线。

工作原理

架构是可插拔的。插件在清单中声明它们提供的内容，运行时启动它们，路由调用，并通过MCP、HTTP、推理和网格事件暴露其功能。目录包含40多种模型，从适合笔记本电脑的5亿参数模型到235B的混合专家巨人。

对于巨人模型，Mesh LLM有一个拆分模式（内部称为“Skippy”）。模型按层范围分区成阶段：第一个节点上的第0到15层，下一个节点上的第16到31层，以此类推。激活值从一个阶段流到下一个阶段，因此几台普通的机器可以运行它们中任何一台都无法单独容纳的模型。OpenAI客户端永远不会看到这些，它仍然只与localhost通信。

如何使用iroh

每个节点，无论是提供服务模型还是只发送请求，都会启动一个iroh端点。该端点是节点的身份、公钥及其唯一的网络表面。没有中央服务器。iroh处理打洞、NAT穿透和中继回退，以在任何两个节点之间建立直接的、经过身份验证的QUIC连接，无论它们位于何处。

为了在开放互联网上保持工作，Mesh LLN在两个不同区域运行两个iroh中继，因此无法直接相互到达的节点总是有一个附近的回退路径。

整个协议基于QUIC的ALPN协商。有三个：

• mesh-llm/1：主网格：八卦、路由、HTTP隧道、插件通道
• mesh-llm-control/1：所有者控制平面（配置同步、所有权认证）
• skippy-stage/2：用于拆分模型的延迟敏感激活传输

在主mesh-llm/1连接内部，一切都是双向的QUIC流，带有一个指示流类型的单字节标签。一个连接承载八卦、推理、路由查询和对等生命周期事件，全部由第一个字节解复用。

这种设计的好处是：iroh提供了经过身份验证、支持NAT遍历的QUIC连接，通过公钥寻址。因此，“路由到对等节点”和“将激活流式传输到下一个流水线阶段”变成了与“与localhost通信”相同的原语，只是端点ID不同。网络不再是需要考虑的事情。

iroh提供安全传输。Mesh LLM在其之上构建了自己的八卦层，因此它可以精确控制谁被允许加入网格、哪些版本兼容以及哪些对等节点值得信任。

入门

用户可以安装轻量级软件（约18MB），然后加入公共网格或配置私有部署。系统以localhost:9337/v1向任何标准OpenAI客户端呈现。

移动应用程序即将推出，基于iroh的Swift SDK构建。计划支持ACP（新兴的智能体标准），以便其他客户端也可以加入网格。主线与激励整个项目的理念相同：更多的点对点，更少的封闭服务器，没有锁定。

请参阅代码

Mesh LLM 网站

Iroh是一种可连接任何设备的网络库，它只需工作即可。从现成协议生态系统中组合所需功能，或者完全自定义对原始管道的抽象。Iroh是开源的，已经在数十万台设备上投入生产。 要开始，请查看我们的文档，直接深入代码，或通过Discord频道与我们交流。