AI News HubLIVE
站內改寫2 分鐘閱讀

如何在任何框架中運行 Kimi K3:使用 Baseten Switch 進行路由

Baseten Switch 是一款本地 Mac 應用,可讓您在流行的人工智能框架(如 Claude Code 和 Codex)中無縫混合運行開源和閉源模型,只需切換開關即可在 Kimi K3、GLM 5.2 等模型之間切換,並跟蹤成本、性能和使用情況。

Baseten Switch 是一款用 Go 編寫的本地 Mac 應用,它位於您的 AI 框架和模型之間,能夠將流量獨立地在編排器和子代理級別路由到開源模型(託管在 Baseten 上)和框架自帶的原生閉源模型。例如,您可以將所有 Fable 流量路由到 Kimi K3,將所有 Opus 子代理流量路由到 GLM-5.2 Fast,然後通過菜單欄開關一鍵切換回來,並並排比較指標。

最佳代理組合越來越趨向混合。優化代理現在更像管理一個擁有多種才能和專業技能的團隊。企業可能會權衡成本和安全性;個人可能更看重編排器上的推理能力和底層的原始速度。但測試通常意味着重新配置端點、重啓會話並丟失原始設置。而 Switch 使模型之間的切換變得流暢、可逆且可測量,從而讓您找到可靠性、性能和成本的最佳組合,而不是靠猜測。

以下是精確步驟,展示如何<5分鐘內在三種最流行的框架中使用 Kimi K3,並且可以推廣到其他框架:

Claude Code 或 Codex 要在 Claude Code 中運行開源模型,首先安裝並啓動 Baseten Switch。

brew trust basetenlabs/baseten
brew install basetenlabs/baseten/baseten-switch
baseten-switch setup
baseten-switch up --install
# 為使用的框架啓用 Switch
baseten-switch claude on
baseten-switch codex on
baseten-switch doctor --probe
claude  # 或 codex --profile baseten

推薦模式:將編排代理(如 Fable 5 或 GPT 5.6 Sol)指向 Kimi-K3;將執行計劃的子代理替換為 GLM-5.2 Fast。

功能包括:

  • 實時在原生(Anthropic/OpenAI)和開源(Baseten)模型之間切換,無需重新配置設置或重啓會話。
  • 直接從 Claude Code 或 Codex 試用任何模型 API 模型,無需更改技能、子代理、MCP 或其他配置。
  • 捕獲 Baseten 和 Anthropic 使用的性能和成本指標,比較開源模型節省了多少費用。
  • 菜單欄圖標,輕鬆開啓或關閉 Switch。
  • 配置框架請求的發送目標,例如將 Fable 替換為 Kimi K3,Opus 替換為 GLM 5.2,Haiku 替換為 Inkling,且成本大幅降低。

Deep Agents CLI (LangChain) 運行 curl -LsSf https://langch.in/dcode,然後用 dcode 啓動,在內部運行 /install baseten/auth/model 切換到 Kimi-K3。OpenCode、Cline 等其他框架也有類似流程。

常見問題

  • 提示詞去哪裏了?Switch 運行本地路由器,請求發送到 Baseten 的推理端點。代碼和提示詞離開您機器的方式與 Anthropic 相同——只是發送到不同提供商。Baseten 有 ZDR 策略,且永遠不會看到您的提示詞。
  • Baseten 會看到使用指標嗎?所有使用指標都在本地計算。
  • 我會雙重付費嗎?如果我有 Claude Max 訂閲並路由到 Baseten,會為兩者付費嗎?不會。路由基於您的偏好,如果映射到 Baseten,則只為使用付費。

聯繫我們獲取產品專家的幫助。