Show HN：本地編碼代理——利用LLM將工具調用委託給小AI模型

Open Agent Tools（簡稱oats）是一個創新的自託管AI框架，旨在讓大型語言模型（LLM）能高效地利用本地源代碼執行工具調用代理任務。該框架的核心思想是通過將大型模型的計算密集型工具調用委託給小型開源模型，從而大幅節省令牌消耗和計算資源。

oats的工作原理是通過多輪數據挖掘，從20,000多個（超過2TB）流行的GitHub倉庫中提取Python源碼，構建壓縮的提示索引。當代理需要執行某個任務時，它首先查詢本地提示索引，找到匹配的已有函數，然後用小型模型在本地直接調用該函數，而不是通過HTTP或MCP與遠程服務交互，也無需大型模型重新生成代碼。這種方式不僅降低了令牌使用量，還提高了響應速度。

在技術架構上，oats支持同時運行大型聊天模型（如Qwen3.6-27B或35B）和小型工具調用模型（如FunctionGemma 270m）。大型模型負責理解用户意圖和生成高層計劃，而小型模型負責實際的工具調用。部署時，用户可以通過vLLM在本地加載這些模型，所需的VRAM從6GB到35GB不等。

oats提供了豐富的命令行界面。用户啓動編碼器（coder）後，可以使用一系列斜槓命令來管理會話、查看文件、切換模式、執行工具調用等。例如，輸入“get third friday”會自動匹配到本地的函數並執行，返回結果。安裝過程也非常簡單，只需克隆倉庫，安裝Python依賴，然後通過setup-coder嚮導配置編碼器配置文件。配置文件保存了vLLM實例的位置和憑證，確保安全。

為了確保工具調用的準確性，oats在部署模型前會先進行無模型的驗證。通過get-tools命令可以檢查某個提示是否能正確匹配到預期的工具，從而避免浪費令牌。項目還提供了詳細的文檔和視頻教程，幫助用户快速上手。

值得一提的是，oats的數據集已在Hugging Face上開源，方便社區進一步研究和擴展。項目支持超過141,000個工具，並且持續更新。無論是個人開發者還是團隊，都可以利用oats構建本地優先、高效、低成本的AI代理系統。