角色模型:為正確工作分配正確AI模型的協議
角色模型(role-model)是一個開放的、具備能力感知能力的AI路由協議,它根據角色和任務後設資料、路由策略以及觀察到的效能來路由請求,而不是僅根據模型名稱。它包括一個參考執行時、可解釋的路由器決策以及基準角色(如通用聊天、程式碼編輯、審查、工具使用、嵌入、分類和語言檢測)。
角色模型(role-model)是一個開放協議,用於實現具備能力感知的AI路由,同時附帶一個打包的參考路由執行時。它為系統提供了一種持久的方式來描述:請求需要什麼、正在請求哪些角色和任務、哪些具體端點可以滿足工作、策略允許或禁止什麼,以及為什麼做出最終路由決策。路由器不僅僅根據模型名稱進行選擇,而是透過角色和任務後設資料、宣告的能力、路由策略以及觀察到的效能,在具體端點之間進行路由。
該協議將路由分解為幾個穩定的部分:請求描述任務型別、所需能力、模態、工具需求和約束;角色和任務描述工作的語義形狀;端點身份和配置檔案描述具體的可路由端點,而非抽象的模型名稱;路由策略應用硬拒絕、偏好、預算和確定性打破平局的規則;可觀測性工件記錄決策、跟蹤、使用情況和測量到的效能。這使得路由具有可解釋性和可移植性,能夠跨越不同的提供商、主機和部署形態。
參考路由器遵循一個穩定的流程:標準化請求意圖,構建有效的策略快照;縮小候選集,只保留匹配請求角色、任務和策略範圍的端點;應用硬性資格檢查,拒絕不能滿足能力、模態、工具、位置、預算或繫結要求的端點;對合格端點進行評分,使用測量證據、宣告資料和中性預設值比較質量、延遲、吞吐量、成本、可靠性和偏好;最終發出可解釋的路由決策,包含選中的端點、備用選項、排除項和選擇理由。
當前基準角色集包括:general.chat(通用對話)、coder.patch(面向補丁的程式碼編輯)、coder.review(審查、批評和結構化裁決)、tool.agent(工具編排和結構化工具呼叫)、embedder(檢索和向量生成)、classifier(標籤和分類選擇)以及language.detector(語言識別)。
首次設定流程包括:安裝並啟動打包的執行時;連線計劃使用的本地或遠端端點;啟用模型並分配角色;對真實候選集執行完整基準測試;檢視基準測試結果;選擇並儲存路由策略;透過實際路由請求驗證並檢查決策。下游客戶端(如Pi)在執行時安裝並配置後加入,透過OpenAI發現協議發現角色模型別名,而不是自己擁有執行時設定。這確保了路由策略的選擇基於證據而非猜測。