Show HN：ローカルコーディングエージェント——LLMでツール呼び出しを小さなAIモデルに委譲

Open Agent Tools（略称oats）は、大規模言語モデル（LLM）がローカルソースコードを効率的に利用してツール呼び出しエージェントタスクを実行できるようにする、革新的なセルフホスト型AIフレームワークです。このプロジェクトの核となるアイデアは、大規模モデルの計算集約型ツール呼び出しを小規模なオープンソースモデルに委譲することで、トークン消費と計算リソースを大幅に節約することです。

oatsの仕組みは、20,000以上の（2TB超）人気GitHubリポジトリからPythonソースコードをマルチパスでデータマイニングし、圧縮されたプロンプトインデックスを構築します。エージェントがタスクを実行する必要がある場合、まずローカルのプロンプトインデックスをクエリして、既存の関数を見つけ、その関数を小規模モデルでローカルに直接呼び出します。これにより、HTTPやMCPを介したリモートサービスとのやり取りや、大規模モデルによるコードの再生成が不要になります。このアプローチはトークン使用量を減らすだけでなく、応答速度も向上させます。

技術アーキテクチャとして、oatsは大規模チャットモデル（例：Qwen3.6-27Bまたは35B）と小規模ツール呼び出しモデル（例：FunctionGemma 270m）を同時に実行できます。大規模モデルはユーザーの意図を理解し、高レベルの計画を生成する役割を担い、小規模モデルが実際のツール呼び出しを担当します。デプロイ時には、ユーザーはvLLMを使用してこれらのモデルをローカルにロードでき、必要なVRAMは6GBから35GBまで様々です。

oatsは豊富なコマンドラインインターフェースを提供します。ユーザーはコーダーを起動した後、一連のスラッシュコマンドを使用してセッションの管理、ファイルの表示、モードの切り替え、ツール呼び出しの実行などが行えます。例えば、「get third friday」と入力すると、ローカルの関数に自動的にマッチして実行され、結果が返されます。インストール手順も簡単で、リポジトリをクローンし、Python依存関係をインストールし、setup-coderウィザードでコーダー設定ファイルを構成するだけです。設定ファイルはvLLMインスタンスの場所と資格情報を安全に保存します。

ツール呼び出しの正確性を確保するため、oatsはモデルをデプロイする前にモデル不要の検証を行います。get-toolsコマンドを使用して、特定のプロンプトが期待されるツールに正しくマッチするかどうかを確認でき、トークンの無駄を防ぎます。プロジェクトには詳細なドキュメントとビデオチュートリアルが用意されており、ユーザーがすぐに使い始められるようサポートしています。

特筆すべき点として、oatsのデータセットはHugging Faceで公開されており、コミュニティによるさらなる研究や拡張が可能です。このプロジェクトは141,000以上のツールをサポートし、継続的に更新されています。個人の開発者からチームまで、oatsを活用してローカルファーストで効率的かつ低コストなAIエージェントシステムを構築できます。