去中心化AI推理市場
T4T是一個去中心化的AI推理市場,允許GPU提供商競標提示任務,客户使用xBZZ支付,結算在Gnosis鏈上,路由通過Swarm,無需中間商或API密鑰。
T4T(Token for Token)是一個基於Gnosis鏈和Swarm去中心化存儲網絡構建的AI推理市場。其核心理念是將AI推理視為一種商品,如同電力或帶寬一樣按需定價。在這個市場中,任何擁有GPU的人都可以註冊成為提供商,通過質押xBZZ代幣來展示其可靠性,併為每個模型設定每百萬token的價格。提供商需要運行T4T提供的容器,該容器會與本地支持OpenAI接口的後端(如Ollama、vLLM、llama.cpp等)對接,並將其服務註冊到鏈上目錄中。
另一方面,用户或應用程序可以通過部署一個網關容器來接入市場。這個網關容器在本地暴露標準的OpenAI /v1/chat/completions端點,因此任何現有的使用OpenAI SDK的代碼都可以無縫切換。網關從鏈上目錄中選擇一個提供商,並將最大支付金額託管在Gnosis鏈上,然後將加密的提示(prompt)通過Swarm的PSS(點對點安全消息)發送給提供商。提供商在本地執行推理,將結果通過Swarm返回,然後從託管中領取支付。如果提供商未能在規定時間內交付,客户將獲得全額退款;如果提供商頻繁出錯,其質押的xBZZ將被罰沒(slash)。
整個過程完全去中心化:沒有中央API網關,沒有市場運營商,沒有速率限制,也不需要API密鑰。所有選擇、支付、信譽和活性(liveness)信息都存儲在鏈上。目前T4T v0.1已經上線,並提供了一個實時目錄,按價格排序顯示活躍的提供商(心跳間隔不超過10分鐘)。要開始使用,可以運行網關容器或提供商容器,兩者都帶有首次運行時的引導界面,可以創建錢包並綁定Swarm郵資戳。T4T的目標是讓AI推理像公共設施一樣易於訪問和定價。