Factory社がLangSmithを活用してフィードバックループを自動化し、反復速度を2倍に向上

高速なソフトウェア開発が求められる今日、効率的なソフトウェア開発ライフサイクル（SDLC）能力は不可欠です。FactoryはSDLC自動化のためのセキュアなAIプラットフォームを構築しています。同社のDroid群はSDLCの各段階を自動化し、大規模組織のエンジニアリング速度を向上させます。特にCode Droidは複雑なソフトウェア開発タスクにおいて最先端のパフォーマンスを達成しています。セルフホステッドLangSmithを活用することで、Factoryは自律型LLMシステムの複雑な可観測性要件を満たしつつ、エンタープライズレベルのセキュリティとプライバシーを維持しています。

LangSmithを活用した安全で信頼性の高いAI運用

セルフホステッドLangSmithは、データのプライバシーとセキュリティを確保しながら、複雑なLLMワークフローを管理するために必要な可観測性インフラを提供します。Factoryは、厳格なデータ管理がほとんどのLLMインフラの動作を妨げる環境でもLangSmithを展開できます。

Factoryが直面した主な課題の1つは、顧客環境での堅牢な可観測性の確保でした。LLMパイプライン全体のデータフローを追跡し、コンテキスト認識の問題をデバッグする従来の方法は煩雑でした。さらに、FactoryのカスタムLLMツールにより、ほとんどのLLM可観測性ツールのセットアップは困難でした。LangSmithは、ファーストパーティAPIを介したカスタムトレーシングにより完全なソリューションを提供しました。

FactoryはLangSmithを統合し、トレースをAWS CloudWatchログにエクスポートすることで、LLMパイプラインの各段階を通じたデータフローを正確に追跡できるようにしました。LangSmithのイベントとステップをCloudWatchログにリンクすることで、エンジニアはエージェントステージ内での位置を正確に特定できます。この統合により、LLMのステップ間のデータフローに関する単一の真実源を維持でき、デバッグと最適化に不可欠です。

もう1つの課題は、生成された応答におけるコンテキスト認識の問題のデバッグでした。FactoryはLangSmithを使用してフィードバックを各LLM呼び出しに直接リンクし、潜在的な問題への即時的な洞察を提供しました。この統合により、チームは独自のログシステムなしで幻覚などの問題を迅速に特定して解決できました。すべてのLLM呼び出しの横にフィードバックがあることで、FactoryはAIの出力が実際の顧客入力に基づいてコンテキスト的に正確で関連性があることを保証できました。

LangSmithによる製品フィードバックループの閉鎖

可観測性に加えて、FactoryはLangSmithを活用して製品フィードバックループを最適化し、プロンプト最適化とFeedback APIの利用に注力しました。従来の手動プロンプト最適化は時間がかかり、不正確であることがよくありました。LangSmithのFeedback APIはプロセスを合理化し、Factoryがフィードバックを収集・分析し、リアルタイムデータに基づいてプロンプトを洗練できるようにしました。

Factoryのフィードバックループは、Droidがコメントを投稿し、肯定的/否定的フィードバックを収集することから始まります。LangSmithがデータを分析し、FactoryのエンジニアはカスタムLangChainツールを使用してプロンプトを最適化し、LLMに再プロンプトして精度を向上させ、エラーを削減します。

FactoryはFeedback APIを使用して、ワークフローのさまざまな段階にフィードバックを追加しました。フィードバックはデータセットにエクスポートされ、パターンや改善領域の分析に使用されました。

ベンチマーク例と自動化プロセスにより、Factoryは精度の制御を強化し、AIモデルの全体的なパフォーマンスを向上させました。例えば、良いフィードバックと悪いフィードバックが付いたコードコメントの例を使用して、LLMにプロンプトを分析させ、プロンプトが悪い例（良くない例）を引き起こした理由を推論させました。この合理化されたフィードバック収集と処理は、プロンプト最適化を改善するだけでなく、フィードバック分析のための精神的負担とインフラ要件を削減しました。

フィードバック収集と処理の自動化は、人間のフィードバックが必要なパイプラインステップで特に価値がありました。LangSmithにより、Factoryはフィードバック収集の最終段階に集中し、Droidのパフォーマンスの最も重要な側面を継続的に洗練・最適化できました。

このアプローチにより、ワークフロー全体の精度と効率が大幅に向上しました。以前の手動データ収集と人間主導のプロンプト反復と比較して、Factoryは反復速度を2倍に向上させました。また、Factoryは平均的な顧客がDroidの影響を受けるコードにおいて、オープンからマージまでの時間が約20%短縮され、コードチャーンが最初の90日間で3倍減少したと報告しています。

今後の展望：SDLCにおけるAI自律性の拡大

Factoryは革新を続けながら、SDLC全体でのAI機能の強化に焦点を当てています。LangChainとの提携とLangSmithの使用は、この旅程において極めて重要であり、ソフトウェア開発における前例のない効率と品質を達成するためのツールとインフラを提供しています。

FactoryのDroidは、エンジニアリングオペレーションに顕著な改善をもたらしました。顧客は平均サイクルタイムが最大20%短縮され、さまざまな組織で55万時間以上の開発時間が節約されたと報告しています。この大幅な時間節約により、エンジニアリングチームは革新的で付加価値の高いタスクに集中でき、全体的な生産性が向上し、運用コストが削減されます。

Factoryの未来は明るく、ソフトウェア開発におけるAIの限界を押し広げ続けています。最近のAI Droidの公開と、Sequoia Capitalがリードする1500万ドルのシリーズA資金調達により、Factoryは大きな成長と革新の態勢を整えています。LangChainとの継続的なコラボレーションはこの戦略の要であり、FactoryがAI駆動のソフトウェア開発の最先端を維持することを保証しています。

「LangChainとのコラボレーションは、エンタープライズLLMベースのシステムの展開に非常に重要でした。LangChainチームから提供される可観測性とオーケストレーションレイヤーのツールのおかげで、意思決定と運用能力に大きな自信を持っています。」 – Factory CTO Eno Reyes

Factoryについて

Factoryは、ソフトウェア開発ライフサイクルの自動化に特化したエンタープライズAI企業です。高度な自律型Droidを統合することで、Factoryは企業がより迅速で信頼性が高く、コスト効率の高いソフトウェアデリバリーを実現するのを支援します。

詳細と最新情報については、Factoryのウェブサイトをご覧ください。

LangChainについて

LangChain, Inc.は2023年初頭に設立され、開発者がコンテキスト認識型の推論アプリケーションを構築できるよう支援しています。人気のオープンソースフレームワークは、LLMを使用して本番対応アプリケーションを作成するための構成要素を提供します。LangSmithは、LangChainおよびLLMを活用したアプリケーションの構築と監視のためのエンドツーエンドの開発ワークフローを可能にするオールインワンのSaaSプラットフォームとしてこれを補完します。

詳細については、LangChainのウェブサイトをご覧ください。