AI News HubLIVE
站內改寫2 分鐘閱讀

Show HN:Turo – 面向 CLI AI 代理的激進令牌節省代理

Turo 是一款激進的令牌節省代理,透過刪除填充詞、替換同義詞並精簡為內容詞來縮減 CLI AI 代理的提示大小,提供多種壓縮級別,包括文言模式(wenyan)。它可以作為代理整合或直接與支援的代理執行,最多可減少 70% 的令牌成本。

來源Hacker News AI作者: jjuliano

Turo 是一個專為 CLI AI 代理設計的激進令牌節省代理。它透過刪除填充詞、替換同義詞以及將文本縮減為僅保留內容詞的方式,大幅減少傳送給 AI 模型的令牌數量。支援多種壓縮級別:lite(保留形容詞、名詞、動詞及部分副詞/介詞,減少約65%)、full(保留形容詞、名詞、動詞,減少約70%)、ultra(預設,僅保留名詞和動詞,並按詞元去重,減少70%以上)以及 wenyan(文言模式,在 ultra 基礎上將每個英文內容詞替換為一個文言漢字,僅適用於 CJK 分詞器模型)。安裝方式包括 Homebrew、Go 或一鍵指令碼。使用 turo run 可啟動支援的代理並自動配置代理。此外,Turo 還可作為獨立代理執行,監聽本地埠並壓縮所有透過它的請求。其壓縮流程分為四個階段:刪除填充詞、替換便宜的同義詞、替換定義詞、縮減為內容詞,並可重複直至收斂。同步替換(預設開啟)使用從 WordNet 構建的詞彙表,將單詞替換為更少令牌的同義詞。箭頭替換(可選)將多詞因果連線詞替換為 ->。wenyan 模式在 Qwen、DeepSeek 等模型上可將 766 字元的段落壓縮至 69 字元(約42令牌),而在 OpenAI 模型上效果較差。整合方面,npx turo 可自動檢測並註冊到多種編碼代理。Turo 不會修改程式碼塊、URL、檔案路徑等關鍵資訊。Turo 的代理模式允許使用者透過設定環境變數將任何 CLI 代理的請求路由到 Turo。例如,使用 turo -proxy -upstream https://api.openai.com 啟動代理,然後設定 OPENAI_BASE_URL 指向本地代理。僅使用者和工具內容會被壓縮,系統和助手歷史保持不變。此外,Turo 還提供 turo run 命令,一鍵啟動並配置 Claude Code、Codex 等代理。透過 npx turo 可以安裝二進位制檔案並自動註冊到檢測到的代理。對於已經安裝在 PATH 中的 Turo,任何代理都可以透過管道將上下文傳遞給它。預設壓縮級別為 ultra,可透過 TURO_LEVEL 環境變數調整。wenyan 模式使用約380個手工挑選的文言漢字對映,僅適用於 Qwen、DeepSeek、GLM 等 CJK 分詞器模型。在 ultra 級別下,單詞的屈折形式會被還原為詞元,但僅限於真實詞典中的單詞。Turo 是開源專案,託管在 GitHub 上,社群可以擴充套件其詞彙表。總之,Turo 為頻繁使用 AI 的開發者提供了一種靈活且高效的令牌節省方案。