Show HN：Miser —— 成本最佳化的 AI 閘道器
Miser 是一個基於 Rust 的開源 AI 閘道器，透過 OpenRouter 將 OpenAI 相容請求路由到最便宜的可用模型。它支援啟發式、本地 LLM、雲端 LLM 及混合分類模式，保持無狀態設計並透傳流式響應。README 還提供了本地執行、評估、API 金鑰管理和部署說明。
Show HN 上釋出的 Miser 是一個基於 Rust 的開源 AI 閘道器，目標是透過 OpenRouter 將 OpenAI 相容請求路由到當前可用的最便宜且能滿足要求的模型，從而降低 LLM 呼叫成本。專案採用無狀態架構，能夠保留請求中未知的 OpenAI 欄位，轉發流式響應，並透過 x-miser-* 響應頭暴露路由決策後設資料。
閘道器的核心是分類器，支援四種模式：heuristic 使用零成本的本地結構化與正規表示式分類；local_llm 呼叫相容 OpenAI 的 Ollama 或本地端點；cloud_llm 使用雲端分類器；hybrid 則先使用低延遲啟發式結果，僅在不確定時進行有界度的本地/雲端模型回退。預設的 hybrid 模式偏保守：當啟發式結果置信度高時直接採納，可選模型呼叫只針對模糊請求，並具有獨立截止時間。
本地執行只需複製環境檔案並設定 OPENROUTER_API_KEY，然後透過 cargo run 啟動閘道器。專案提供了 OpenCode 配置示例，將 baseURL 指向 http://127.0.0.1:8787/v1，模型選擇 miser/auto。對外暴露的端點包括 POST /v1/chat/completions、GET /v1/models 和兩個健康檢查端點 /health/live 與 /health/ready。
評估方面，專案維護了版本化的語料庫 evals/cases.jsonl，透過 cargo run -p miser-evals -- --mode heuristic 執行評估，報告精確、相鄰層級準確率以及混淆矩陣。官方 VPS 基準測試於 2026-08-09 在 2 vCPU、7.8 GiB 記憶體、無 GPU 的機器上進行，Rust 啟發式策略在 25 個測試用例上達到 92.0% 的精確準確率和 92.0% 的相鄰準確率，欠路由率為 0.0%，未出現失敗案例。
API 金鑰管理方面，專案提供管理員端點用於建立、列出和刪除使用者金鑰：透過 POST /admin/keys 建立，GET /admin/keys 列出，DELETE /admin/keys/{key_id} 刪除。每個請求都會使用恆定時間雜湊比較驗證金鑰，原始金鑰僅在建立時返回一次。配置 OpenAI 相容客戶端時，只需將 baseURL 改為 https://miser.rajeev.me/v1 並填入生成的 miser_ 開頭的金鑰即可。
部署上，倉庫包含生成非 root 映象的 Dockerfile，並提供了加固版 systemd 單元 deploy/miser.service。建議將 config/miser.toml 和許可權為 600 的包含 OPENROUTER_API_KEY 的環境檔案複製到伺服器。專案還保留了最初用 Bun/TypeScript 編寫的原型（prototypes/typescript），供對比和遷移參考。開發流程使用 cargo fmt、check、test 和 clippy 保證程式碼質量；專案以 MIT 許可證釋出。