AI News HubLIVE
站内改写1 分鐘閱讀

去中心化AI推理市場

T4T是一個去中心化的AI推理市場,允許GPU提供商競標提示任務,客戶使用xBZZ支付,結算在Gnosis鏈上,路由透過Swarm,無需中間商或API金鑰。

來源Hacker News AI作者: ffaerber

T4T(Token for Token)是一個基於Gnosis鏈和Swarm去中心化儲存網路構建的AI推理市場。其核心理念是將AI推理視為一種商品,如同電力或頻寬一樣按需定價。在這個市場中,任何擁有GPU的人都可以註冊成為提供商,透過質押xBZZ代幣來展示其可靠性,併為每個模型設定每百萬token的價格。提供商需要執行T4T提供的容器,該容器會與本地支援OpenAI介面的後端(如Ollama、vLLM、llama.cpp等)對接,並將其服務註冊到鏈上目錄中。

另一方面,使用者或應用程式可以透過部署一個閘道器容器來接入市場。這個閘道器容器在本地暴露標準的OpenAI /v1/chat/completions端點,因此任何現有的使用OpenAI SDK的程式碼都可以無縫切換。閘道器從鏈上目錄中選擇一個提供商,並將最大支付金額託管在Gnosis鏈上,然後將加密的提示(prompt)透過Swarm的PSS(點對點安全訊息)傳送給提供商。提供商在本地執行推理,將結果透過Swarm返回,然後從託管中領取支付。如果提供商未能在規定時間內交付,客戶將獲得全額退款;如果提供商頻繁出錯,其質押的xBZZ將被罰沒(slash)。

整個過程完全去中心化:沒有中央API閘道器,沒有市場運營商,沒有速率限制,也不需要API金鑰。所有選擇、支付、信譽和活性(liveness)資訊都儲存在鏈上。目前T4T v0.1已經上線,並提供了一個即時目錄,按價格排序顯示活躍的提供商(心跳間隔不超過10分鐘)。要開始使用,可以執行閘道器容器或提供商容器,兩者都帶有首次執行時的引導介面,可以建立錢包並繫結Swarm郵資戳。T4T的目標是讓AI推理像公共設施一樣易於訪問和定價。