本文にスキップ
AI News HubLIVE
サイト内リライト4 分で読了

エージェント時代の開発者体験の改善

記事の要約

Weaviate はコーディングエージェントが不完全なドキュメントを受け取りエラーを引き起こす問題を発見し、開発者体験(DX)とエージェント体験(AX)の両方を最適化する必要性を提唱した。

ソースWeaviate Blog
エージェント時代の開発者体験の改善
誤りを報告

訂正窓口はまだ利用できません。記事情報をコピーして保存できます。

訂正案内
本文へ

エージェントがコードを書くようになると、開発者には何が残るのか?確かなことは分からないが、後戻りできないことには多くの人が同意するだろう。開発者ツールを構築する我々のような小さなグループにとっては、別の問いが浮かぶ。それは開発者体験(DX)にとって何を意味するのか、という問いだ。

従来、我々は API サーフェス、ドキュメント、学習教材を注意深く作り、開発者を正しい構文へ導き、適切なツールを見つけられるようにしてきた。しかし、エージェントが読む側になったとき、それらはまだ意味を持つのか?未来の全知の支配者には何の違いもないと想像するのは簡単だ。

だが、私が考えることが二つある。第一に、少なくとも今はエージェントの先に人間がいて指示を出していることを忘れるべきではない。だから彼らの体験を最適化すべきだ。第二に、優れた DX の背後にある原則は、人間の読者が決して遭遇しない問題にエージェントが直面する場合でも依然として当てはまる。

最近のドキュメント改善の取り組みについて話そう。一部のケースで、エージェントが我々のドキュメントから誤った結論を導いていることに気づいた。調査すると、根本原因は一部のエージェントが完全なドキュメントページを受け取っていないことだった。ページが切り捨てられ、一部の言語のコード例が欠落し、セクションが失われていた。

そして、その欠落したコンテキストがエージェントを他の場所へ検索させたり、誤った結論を導いたり、間違ったコードを書かせたりしていた。これらの問題は、問題があってもほとんど教えてくれない読者層、つまりコーディングエージェントに影響していたため見過ごされていた。さらに、一部の問題はエージェントにしか存在しなかった!

では、エージェントが実際に何を見ているかをどうやって突き止めたのか?DX の問題を特定する際にはユーザーインタビューを利用するかもしれないが、エージェントに対しては彼らの行動を直接観察することに焦点を当てた。

複数のエージェントを設定し、同じタスクを再現可能な方法で実行させ、ログと出力を調査した。これにより最終回答だけでなく、そこに至る経路、つまり使用したツール、実行した検索、読んだページも見ることができた。これにより更新すべきドキュメントページが特定できただけでなく、重要だったのは、エージェントを異なる読者クラスとして扱うべきだということが分かったことだ。

第一に、エージェントはブラウザを使う人間と同じようにはウェブページを読まない。異なるコーディング環境のフェッチツールはページの異なる部分を返すことがあり、コンテンツが欠落していてもサイトに通知しないことが多い。しかし重要なのは、エージェントが情報の欠落に気づいても、ドキュメントのメンテナーである我々に問題を報告する可能性は低いということだ。単に別の場所を検索したり、回避したりするかもしれない。

一度それらの失敗を再現できれば、潜在的な修正をテストできる。ドキュメントを変更し、同じタスクを再度実行し、エージェントが必要なコンテキストを受け取ったか確認する。例えば、変更前はあるフェッチツールが正しい言語例を TypeScript の15回中7回、Go の15回中3回しか返さなかった。変更後はチェックしたすべての実行で正しいスニペットを返した。また、概念ページの古い文が、コード例がそのページになかったにもかかわらず、エージェントを古いクライアントライブラリの使用に導いていた。修正後、チェックしたすべての回答が現在のクライアントを使用した。

有用なコンテンツが欠落していると、エージェントは生のソースファイルを見つけたり、ページをダウンロードしてパーサーを書いたりして回避しようとする。ある例では、必要なコードが隠れていたためエージェントが解決に23ターンかかったが、ページの Markdown 版では6ターンで済んだ。また、ドキュメントページの Markdown 版を提供し、ページ読み込みのトークン使用量を約20%削減した。これらのテストは回帰の検出にも役立った。隠れたコードタブを修正する変更が、あるフェッチツールでクイックスタートの一部だけを返し、残りを落とす原因になった。テストを再実行して問題を明らかにし、小さなレイアウト変更で修正した。

これらはエージェント体験(AX)の例だ。エージェントが我々のドキュメント、ツール、API を効果的に使えるようにする。より多くの作業がエージェントに委任されるにつれ、それらのリソースを直接使う開発者の体験と並んで、エージェントの体験が重要になる。DX の目標は単にコードを書く速度を上げることではなく、開発者と生み出そうとする価値の間の摩擦を減らすことだ。コードはその一部に過ぎない。開発者は依然として問題を理解し、エージェントに良い指示を与え、適切な環境を設定し、結果を検証する必要がある。つまり、良い体験は開発者と、開発者と製品の間で働くエージェントの両方に奉仕する必要がある。

開発者にとっては、健全なアーキテクチャ上の決定を行い、意図をエージェントに伝え、結果を検証できるようにすることだ。エージェントにとっては、情報を完全で発見可能にし、エージェントに適したツールを提供し、曖昧さを減らし、正確性を観察可能にすることだ。これらの目標は Don Norman の「実行の湾」と「評価の湾」の考え方と一致する。人はどう行動するか、行動がうまくいったかを理解する必要がある。エージェントは関与するインターフェースとメカニズムを変えるが、これらの根底にあるニーズは残る。

我々はこれらの考えを、開発者が Weaviate で使うツールとワークフローに適用している。例えば、GraphQL が無効になった後、v5 クライアントを使う Go サービスを更新するよう求められたとき、一部のエージェントは新しい Go v6 クライアントを探す代わりにサーバーの gRPC API を直接呼び出そうとした。我々は、開発者の追加負担をできるだけ少なくして、サポートされているクライアントへエージェントを導く方法を模索している。また、エージェントがゼロから Weaviate アプリケーションを構築し、開発者のニーズに適応できるかを測定している。これには HFresh インデックス、Rotational Quantization、PathSeer フィルタリングなどの現在の機能の使用や、我々が学んだベストプラクティスの適用が含まれる。その他の取り組みとして、エージェント向けのクイックスタートのあり方や、エージェントがクラスタのメンテナンスやトラブルシューティングを支援する方法を探っている。

原則は変わらない。核となる実践は馴染み深い。人々がどこで立ち往生するかを見つけ、体験を改善し、改善が機能したことを検証する。変わったのは、測定する必要があるユーザーとツールの集合だ。開発者は今、IDE やブラウザだけでなくコーディングエージェントを通じて作業し、エージェントは何かを見つけられなかったり理解できなかったりしてもほとんど教えてくれない。そのため、測定はより重要になる。変更前後でエージェントがドキュメントやツールをどう使うかをテストすることで、開発者とエージェントの両方の摩擦を減らし、開発者が作業からより多くの価値を得られるようにできる。

要点と分析を開く

記事インテリジェンス

投資家上級

要点

  • エージェントはドキュメントの切り捨てやコード例の欠落に遭遇してもフィードバックしないことが多い。
  • 再現可能なエージェントタスクテストでドキュメントの欠陥を特定。例:修正前は TypeScript の15回中7回のみ正しいコード例を返した。
  • Markdown 版ドキュメントの提供でトークン消費を約20%削減し、あるケースではエージェントの解決ターン数を23から6に短縮。
  • DX の原則は依然有効だが、AX へ拡張し、完全で発見しやすく曖昧さの少ない情報を提供する必要がある。

要点と分析は自動生成され、誤りを含む場合があります。原典をご確認ください。