本文にスキップ
AI News HubLIVE
サイト内リライト7 分で読了

Together AIがコーディングエージェントにとって使いやすいプラットフォームを実現する方法

記事の要約

Together AIはエージェント評価を構築し、ドキュメント、スキル、APIエラーを修正することで、コーディングエージェントのタスク完了率を75%から97%に向上させました。

Together AIがコーディングエージェントにとって使いやすいプラットフォームを実現する方法
誤りを報告

訂正窓口はまだ利用できません。記事情報をコピーして保存できます。

訂正案内
本文へ

今年初め、Together AIはますます多くの開発者がコーディングエージェントを使ってアプリケーションを構築していることに気づきました。手動でアプリケーションを本番推論に接続するには数日から数週間かかることもありますが、SDKとCLIを使うエージェントなら理論上は数分で済みます。しかし実際には、エージェントがプラットフォームを効率的に扱えているのか、障害にぶつかったり、袋小路に陥ったり、失敗してトークンを無駄にしているのかは分かっていませんでした。

開発者がより多くの作業をエージェントに委任するようになると、開発者体験(DX)はますますエージェント体験(AX)と同義になっていきます。ソフトウェアがエージェントにとって使いやすいほど、開発者はそれを自社の製品やワークフローに組み込みやすくなります。GitHubはその典型例です。過去1年間でプラットフォーム上のアクティビティは3倍になり、2026年には全PRの約40%がエージェントによって作成されています。これはGitHubの優れたAPI、CLI、ドキュメントのおかげであり、エージェントにとって非常に使いやすくなっています。

Together AIのAXを改善するには、プラットフォームが実際にどの程度エージェント対応しているかを測定する方法が必要でした。同社はエージェント評価を構築し、その過程で2つの主要な問題とその修正方法を発見しました。

まず、エージェントが実際に何を求められているかを知る必要がありました。同社は、バッチ推論ジョブの実行、音声エージェントの構築、推論エンドポイントの自動スケーリング管理など、開発者がTogether上で取り組む一般的なタスクのリストを作成し始めました。各タスクは基本的にプロンプトです。例えば、「利用可能なGPUクラスタのリージョンとインスタンスタイプをリストし、最も安価なオプションを表示し、1時間オンデマンドでクラスタを予約するために実行する正確なコマンドを示してください。実際に予約はしないでください。」というものです。評価に合格するには、エージェントは最新の価格情報を見つけ、リージョンAPIエンドポイントを呼び出し、両者を組み合わせて最も安価なオプションを見つけ、有効なCLIコマンドを生成する必要があります。このプロンプトは可用性と価格の両方を尋ねていますが、これらの情報が別々の場所にあることは述べていません。これは現実的で、平均的なユーザーは各情報がどこにあるか事前に知らない可能性があり、人間もエージェントも簡単につまずく可能性があります。

タスクリストを構築した後、同社は各タスクを3つの方法で実行しました。ベースライン構成(エージェントはプロンプトのみを受け取り、特別な構成はなし。平均的な開発者のワークフローを模倣)、MCP構成(エージェントはMCPサーバーを通じてドキュメントに直接アクセス)、スキル構成(Togetherスキルパッケージをエージェントに提供。エージェント向けに書かれた指示と例を含む)です。完全な評価では、3つのモデルを使って各構成で各タスクを実行し、各タスクを2回試行するため、各構成で各タスクにつき6回の試行になります。9月30日の実行では、エージェントは215回の採点された実行のうち192回に合格しました。GPUクラスタタスクはすべてのベースライン実行で失敗しましたが、すべてのスキル実行で合格しました。

当初、評価は手動で行われていました。ターミナルを開き、プロンプトをClaude Codeに貼り付け、エージェントに実行させる(または失敗させる)という作業を各構成で繰り返すのは面倒でした。システムの形が固まると、自動化を始めました。現在では、各エージェントはTogetherサンドボックス内で実行され、ローカル環境や互いに干渉しません。GitHub Actionsがセットアップ、エージェントの起動、クリーンアップ、結果の保存を処理し、プロキシがエージェントのTogether APIへのリクエストを処理してアクティビティを記録するため、どのエンドポイントが呼び出され、何が返されたかを確認できます。

実行が終了すると、LLMジャッジがタスクプロンプトと記録されたセッションをレビューし、3つの判定のいずれかを下します。合格(すべてのタスク要件が満たされた)、未完了(エージェントはタスクを試みたが、一部の必要なステップが未完了または未検証)、失敗(エージェントが早期に諦めた、明示的な制約に違反した、または誤った結果を出した)です。失敗と未完了の判定は、問題がエージェント、API、または証拠の不足のどれにあるかを必ずしも示すものではなく、調査を開始する場所を示すだけです。同社は合格した実行も調査します。エージェントはしばしば混乱を招く応答を回避してタスクを完了でき、そうした回復の過程はトークン効率を改善する方法を明らかにするからです。

レビューを実用的にするため、異なるモデルと構成のパフォーマンスを比較する結果ビューアを構築しました。各実行について、プロンプト、エージェントが使用したツール、受け取った応答、APIアクティビティが表示されます。

ケーススタディ1:GPUクラスタの価格設定

先ほどのGPUクラスタタスクを振り返ります。一見単純ですが、昨年の夏の初期評価では、Sonnet 4.6はスキルを有効にしても15回の試行のうち4回しか合格しませんでした。事後分析では、失敗した実行に同じパターンが見られました。SonnetはCLIリファレンスのサンプル出力(1つのリージョンと2つのGPUタイプのみをリスト)を実際の在庫と見なし、リージョン検索をスキップし、価格ページを確認せずに最も安価なオプションを推測で述べていました。

問題はTogether AI側にありました。まず、サンプル出力が適切にラベル付けされておらず、関連データを取得するコマンドを実行するようエージェントに指示するものがありませんでした。次に、スキルファイルが価格表ではなくGPUクラスタのマーケティングページにリンクしていたため、Sonnetはマーケティングページを開いて実際の価格を見つけられず、最も安価なGPUを推測するしかありませんでした。

より高性能なモデルはこの問題を回避できました。同じ時期に、Opus 4.8は同じ構成で14回の試行のうち13回に合格しました。記録によると、list_regionsの応答に価格が含まれていないことに気づき、ドキュメントで価格を見つけるまで検索を続けました。これが、能力の低いモデルで製品をテストすることが重要な理由です。Opusだけでテストしていたら、このギャップを見つけるのにはるかに時間がかかったでしょう。

失敗を特定するために、完全なスキルパッケージからGPUクラスタスキルを抜き出し、この問題だけを再現するより狭いプロンプトを書きました。古いスキルファイルに対してテストすると毎回失敗したため、信頼できる再現手順(古いスキルを使用)と、新しい各バージョンをテストする簡単な方法(スキルを更新)が得られました。何度か繰り返した後、小さな変更にたどり着きました。スキルに2つの文を追加し、エージェントを価格表に導き、ライブリージョンAPIと組み合わせて使用する方法を説明しました。この変更後、テストしたすべてのモデルでスキル有効構成のタスクが100%合格しました。

APIのギャップの発見

同じGPUタスクはAPIの問題も明らかにしました。最近のベースライン実行では、Opus 5.5が未完了の判定を受け、記録にはモデルのせいではない2つの行き止まりが示されていました。実行は順調に始まり、エージェントは/v1/compute/regionsを呼び出してリージョンとインスタンスタイプを取得しました。次に価格を探すために/v1/compute/instance-typesを呼び出すと、APIは400エラーを返しました。メッセージは「Region is required. Example: us-central-8. Use /v1/clusters/regions to get list of regions.」というものです。エージェントはエラーの指示に従いました。最初の検索で得たリージョンでリクエストを再試行しましたが、インスタンスタイプではなく404が返されました。次に、エラーが示唆した/v1/clusters/regionsを呼び出しましたが、そのルートは存在しないため、また404が返されました。自社のエラーメッセージがエージェントを存在しないルートに導き、成功すべき再試行も失敗しました。このメッセージを手動で追った開発者も同様に立ち往生したでしょう。その後、エラーメッセージを/v1/compute/regionsに修正し、最初の404の背後にあるルーティングバグを修正しました。

ケーススタディ2:スキルパッケージの再構築

以前は、製品サーフェスごとに14個の個別のTogetherスキルを維持していました。使用するのは面倒で、どのスキルが自分のワークフローに適用されるかを事前に知り、それぞれをインストールして呼び出す必要がありました。スキルは重複しており、同じSDKガイダンスとセットアップ手順を繰り返し、それぞれが十分に長いため、いくつかを同時にロードするとエージェントのコンテキストが膨らむ可能性がありました。

先月、これらの14個のスキルを1つの統合バージョンに統合しました。内部では依然としてモジュール式で、コンテキストの膨張を避けるため、エージェントは最初に短いルーターを読み、ルーターが関連すると示した場合にのみ各製品ガイド、リファレンスファイル、サンプルスクリプトを開きます。

1つのスキルが14個に勝ることを期待しましたが、確認するために、スキル有効の評価タスクで統合スキルを実行しました。基準は9月30日の14スキル構成での全実行90%の合格率でした。しかし、新しいスキルは失敗でした。72回の実行のうち54回(75%)しか合格せず、未完了は7回ではなく18回になり、実行あたりのコストは2倍以上になりました。

そこで評価の記録を精査し、実行が問題を示した箇所だけをスキルで変更しました。3つの問題が繰り返し現れました。

コンテキストが多すぎる:最初の統合ルーターは約14,000文字で、すべてのタスクでロードされ、各ガイドを完全に読むようにエージェントに指示していました。(コンテキストの膨張を避けるという話はどこへ……)実行は14個の個別スキルよりも57%多くスキルコンテンツをロードしていました。ルーターを6,000文字未満に削減し、各製品ガイドの最後に各リファレンスとスクリプトの内容を簡単に説明するメニューを追加して、エージェントが必要なものだけを開くようにしました。

製品情報の陳腐化:コード例で使用されている一部のモデルはサーバーレスで提供されなくなり、1つの製品ガイドは非推奨機能を扱っていました。エージェントは決して成功しないリクエストから回復または再試行するためにターンを浪費しました。すべてのサンプルを確認済みのライブモデルに移動し、再試行する代わりにカタログを確認するようエージェントに指示し、製品の変更に応じてスキルを自動更新するクラウドエージェントを作成しました。

サンプルコードのバグ:JPEGバイトを.png名で保存するなど、スクリプトの小さな問題が、それを使用するすべてのエージェントを脱線させました。これらをソースで修正し、コードサンプルを定期的にライブテストして最新の状態に保つ自動化を追加しました。

これらの修正により、統合スキルは72回の実行のうち70回に合格し、最初の試みより22ポイント、14スキル構成のベースラインより7ポイント向上しました。

要点と分析を開く

記事インテリジェンス

エンジニア上級

要点

  • 開発者がエージェントに作業を委任するにつれ、開発者体験(DX)はエージェント体験(AX)へと進化しています。
  • Together AIは一般的なタスクのリストを作成し、ベースライン、MCP、スキルの3つの構成で3つのモデルを使って評価を実行しました。
  • 評価の記録から、誤解を招くサンプル出力、壊れたリンク、存在しないルートを示すAPIエラーメッセージが明らかになりました。
  • 14個の個別スキルを1つの統合パッケージにまとめ、評価データに基づいて改善することで、合格率を75%から97%に引き上げました。

要点と分析は自動生成され、誤りを含む場合があります。原典をご確認ください。