AI News HubLIVE
站内改写1 分钟阅读

去中心化AI推理市场

T4T是一个去中心化的AI推理市场,允许GPU提供商竞标提示任务,客户使用xBZZ支付,结算在Gnosis链上,路由通过Swarm,无需中间商或API密钥。

来源Hacker News AI作者: ffaerber

T4T(Token for Token)是一个基于Gnosis链和Swarm去中心化存储网络构建的AI推理市场。其核心理念是将AI推理视为一种商品,如同电力或带宽一样按需定价。在这个市场中,任何拥有GPU的人都可以注册成为提供商,通过质押xBZZ代币来展示其可靠性,并为每个模型设定每百万token的价格。提供商需要运行T4T提供的容器,该容器会与本地支持OpenAI接口的后端(如Ollama、vLLM、llama.cpp等)对接,并将其服务注册到链上目录中。

另一方面,用户或应用程序可以通过部署一个网关容器来接入市场。这个网关容器在本地暴露标准的OpenAI /v1/chat/completions端点,因此任何现有的使用OpenAI SDK的代码都可以无缝切换。网关从链上目录中选择一个提供商,并将最大支付金额托管在Gnosis链上,然后将加密的提示(prompt)通过Swarm的PSS(点对点安全消息)发送给提供商。提供商在本地执行推理,将结果通过Swarm返回,然后从托管中领取支付。如果提供商未能在规定时间内交付,客户将获得全额退款;如果提供商频繁出错,其质押的xBZZ将被罚没(slash)。

整个过程完全去中心化:没有中央API网关,没有市场运营商,没有速率限制,也不需要API密钥。所有选择、支付、信誉和活性(liveness)信息都存储在链上。目前T4T v0.1已经上线,并提供了一个实时目录,按价格排序显示活跃的提供商(心跳间隔不超过10分钟)。要开始使用,可以运行网关容器或提供商容器,两者都带有首次运行时的引导界面,可以创建钱包并绑定Swarm邮资戳。T4T的目标是让AI推理像公共设施一样易于访问和定价。