Show HN：本地编码代理——利用LLM将工具调用委托给小AI模型

Open Agent Tools（简称oats）是一个创新的自托管AI框架，旨在让大型语言模型（LLM）能高效地利用本地源代码执行工具调用代理任务。该框架的核心思想是通过将大型模型的计算密集型工具调用委托给小型开源模型，从而大幅节省令牌消耗和计算资源。

oats的工作原理是通过多轮数据挖掘，从20,000多个（超过2TB）流行的GitHub仓库中提取Python源码，构建压缩的提示索引。当代理需要执行某个任务时，它首先查询本地提示索引，找到匹配的已有函数，然后用小型模型在本地直接调用该函数，而不是通过HTTP或MCP与远程服务交互，也无需大型模型重新生成代码。这种方式不仅降低了令牌使用量，还提高了响应速度。

在技术架构上，oats支持同时运行大型聊天模型（如Qwen3.6-27B或35B）和小型工具调用模型（如FunctionGemma 270m）。大型模型负责理解用户意图和生成高层计划，而小型模型负责实际的工具调用。部署时，用户可以通过vLLM在本地加载这些模型，所需的VRAM从6GB到35GB不等。

oats提供了丰富的命令行界面。用户启动编码器（coder）后，可以使用一系列斜杠命令来管理会话、查看文件、切换模式、执行工具调用等。例如，输入“get third friday”会自动匹配到本地的函数并执行，返回结果。安装过程也非常简单，只需克隆仓库，安装Python依赖，然后通过setup-coder向导配置编码器配置文件。配置文件保存了vLLM实例的位置和凭证，确保安全。

为了确保工具调用的准确性，oats在部署模型前会先进行无模型的验证。通过get-tools命令可以检查某个提示是否能正确匹配到预期的工具，从而避免浪费令牌。项目还提供了详细的文档和视频教程，帮助用户快速上手。

值得一提的是，oats的数据集已在Hugging Face上开源，方便社区进一步研究和扩展。项目支持超过141,000个工具，并且持续更新。无论是个人开发者还是团队，都可以利用oats构建本地优先、高效、低成本的AI代理系统。