Show HN：本地編碼代理——利用LLM將工具呼叫委託給小AI模型

Open Agent Tools（簡稱oats）是一個創新的自託管AI框架，旨在讓大型語言模型（LLM）能高效地利用本地原始碼執行工具呼叫代理任務。該框架的核心思想是透過將大型模型的計算密集型工具呼叫委託給小型開源模型，從而大幅節省令牌消耗和計算資源。

oats的工作原理是透過多輪資料探勘，從20,000多個（超過2TB）流行的GitHub倉庫中提取Python原始碼，構建壓縮的提示索引。當代理需要執行某個任務時，它首先查詢本地提示索引，找到匹配的已有函式，然後用小型模型在本地直接呼叫該函式，而不是透過HTTP或MCP與遠端服務互動，也無需大型模型重新生成程式碼。這種方式不僅降低了令牌使用量，還提高了響應速度。

在技術架構上，oats支援同時執行大型聊天模型（如Qwen3.6-27B或35B）和小型工具呼叫模型（如FunctionGemma 270m）。大型模型負責理解使用者意圖和生成高層計劃，而小型模型負責實際的工具呼叫。部署時，使用者可以透過vLLM在本地載入這些模型，所需的VRAM從6GB到35GB不等。

oats提供了豐富的命令列介面。使用者啟動編碼器（coder）後，可以使用一系列斜槓命令來管理會話、檢視檔案、切換模式、執行工具呼叫等。例如，輸入“get third friday”會自動匹配到本地的函式並執行，返回結果。安裝過程也非常簡單，只需克隆倉庫，安裝Python依賴，然後透過setup-coder嚮導配置編碼器配置檔案。配置檔案儲存了vLLM例項的位置和憑證，確保安全。

為了確保工具呼叫的準確性，oats在部署模型前會先進行無模型的驗證。透過get-tools命令可以檢查某個提示是否能正確匹配到預期的工具，從而避免浪費令牌。專案還提供了詳細的文件和影片教程，幫助使用者快速上手。

值得一提的是，oats的資料集已在Hugging Face上開源，方便社群進一步研究和擴充套件。專案支援超過141,000個工具，並且持續更新。無論是個人開發者還是團隊，都可以利用oats構建本地優先、高效、低成本的AI代理系統。