Show HN：Miser —— 成本優化的 AI 網關
Miser 是一個基於 Rust 的開源 AI 網關，通過 OpenRouter 將 OpenAI 兼容請求路由到最便宜的可用模型。它支持啓發式、本地 LLM、雲端 LLM 及混合分類模式，保持無狀態設計並透傳流式響應。README 還提供了本地運行、評估、API 密鑰管理和部署説明。
Show HN 上發佈的 Miser 是一個基於 Rust 的開源 AI 網關，目標是通過 OpenRouter 將 OpenAI 兼容請求路由到當前可用的最便宜且能滿足要求的模型，從而降低 LLM 調用成本。項目採用無狀態架構，能夠保留請求中未知的 OpenAI 字段，轉發流式響應，並通過 x-miser-* 響應頭暴露路由決策元數據。
網關的核心是分類器，支持四種模式：heuristic 使用零成本的本地結構化與正則表達式分類；local_llm 調用兼容 OpenAI 的 Ollama 或本地端點；cloud_llm 使用雲端分類器；hybrid 則先使用低延遲啓發式結果，僅在不確定時進行有界度的本地/雲端模型回退。默認的 hybrid 模式偏保守：當啓發式結果置信度高時直接採納，可選模型調用只針對模糊請求，並具有獨立截止時間。
本地運行只需複製環境文件並設置 OPENROUTER_API_KEY，然後通過 cargo run 啓動網關。項目提供了 OpenCode 配置示例，將 baseURL 指向 http://127.0.0.1:8787/v1，模型選擇 miser/auto。對外暴露的端點包括 POST /v1/chat/completions、GET /v1/models 和兩個健康檢查端點 /health/live 與 /health/ready。
評估方面，項目維護了版本化的語料庫 evals/cases.jsonl，通過 cargo run -p miser-evals -- --mode heuristic 運行評估，報告精確、相鄰層級準確率以及混淆矩陣。官方 VPS 基準測試於 2026-08-09 在 2 vCPU、7.8 GiB 內存、無 GPU 的機器上進行，Rust 啓發式策略在 25 個測試用例上達到 92.0% 的精確準確率和 92.0% 的相鄰準確率，欠路由率為 0.0%，未出現失敗案例。
API 密鑰管理方面，項目提供管理員端點用於創建、列出和刪除用户密鑰：通過 POST /admin/keys 創建，GET /admin/keys 列出，DELETE /admin/keys/{key_id} 刪除。每個請求都會使用恆定時間哈希比較驗證密鑰，原始密鑰僅在創建時返回一次。配置 OpenAI 兼容客户端時，只需將 baseURL 改為 https://miser.rajeev.me/v1 並填入生成的 miser_ 開頭的密鑰即可。
部署上，倉庫包含生成非 root 鏡像的 Dockerfile，並提供了加固版 systemd 單元 deploy/miser.service。建議將 config/miser.toml 和權限為 600 的包含 OPENROUTER_API_KEY 的環境文件複製到服務器。項目還保留了最初用 Bun/TypeScript 編寫的原型（prototypes/typescript），供對比和遷移參考。開發流程使用 cargo fmt、check、test 和 clippy 保證代碼質量；項目以 MIT 許可證發佈。