Amplitudeは長年にわたり、チームがユーザーによる製品の実際の使われ方を理解できるよう支援してきました。現在、そのプロアクティブ製品エージェントであるWaveが、これらのインサイトをリリース済みの改善に変換します。Amplitudeによると、WaveはGPT-6.1 Sol、GPT-6 Luna、GPT-Image-2.5 Flareを含むOpenAIモデルによって約80%駆動されています。Waveは製品インサイトを、Codexを含むコーディングエージェントに渡せる実装計画に変換し、その後影響を測定します。
Amplitudeは、Waveがチームの製品改善リリースを約1ヶ月から1~2日に短縮できると推定しています。Amplitude自身のホームページでは、Waveが提案カードのパーソナライズを支援し、カード駆動の送信を160%増加させました。AmplitudeのCEO、Spenser Skates氏は次のように述べています。「AIは今や、私たちが割り当てようと思ったこともなかった有用な仕事を見つけることができます。OpenAIのモデルは問題を調査し、コードを書いて実行し、その結果を次の試みの決定に利用できます。」
Waveの仕組みは次のとおりです。チームは製品領域と改善したい目標や指標を指定します。WaveはAmplitudeデータ、セッションリプレイ、顧客フィードバック、コードを統合し、機会を特定・優先順位付けし、ソリューションを開発し、人とコーディングエージェントとの実装を調整します。その後、結果を追跡し、その学習を次の改善ラウンドに活かします。
このワークフローの背後で、Amplitudeはタスクごとに異なるOpenAIモデルを使用しています。GPT-6.1 Solは機会マネージャーとコードおよびデータの深い調査を支援します。GPT-6 Lunaは、コードのスキャンや小規模な評価チェックの実行など、頻繁で低コストのタスクを処理します。GPT-Image-2.5 Flareは、セッションリプレイのスクリーンショットを視覚参照として製品モックアップを生成します。
機会が構築可能になると、チームは技術計画と受け入れ基準を添えて、WaveからCodexを含むコーディングエージェントに直接送信できます。AmplitudeのプリンシパルAIプロダクトマネージャー、Jacob Newman氏は次のように説明しています。「Waveの考え方は、大量のセッションリプレイ、分析、コードを精査して製品改善の機会を見つけるエージェントを備えた統合プラットフォームを持つことです。」
Amplitudeは自身のホームページでWaveをテストしました。そこでは、ユーザーがAIエージェントとの会話を始めるのを助けるために汎用的な提案カードが用意されていました。Waveは、人々がしばしばそれらを避けることを発見しました。100件のセッションリプレイのサンプルでは、80人のユーザーが自分の質問を入力し、提案を選択したのは12人だけでした。Waveは、最近のチャート、ダッシュボード、またはユーザーが来たページを使用してカードをパーソナライズすることを提案しました。それは変更を図示し、自由入力の保持やパーソナライズのコンテキストが利用できない場合に汎用提案を表示することを含む技術計画を作成しました。簡単なレビューの後、チームは作業をコーディングエージェントに渡し、変更をA/Bテストしました。Amplitudeが共有した実験結果では、実験群がホームページの提案カードを通じて送信したメッセージは、1日後に対照群と比較して160%増加しました。AmplitudeのシニアプリンシパルAIエンジニア、Eric Carlson氏は次のように説明しています。「これは、無視されがちな画期的でないものが、予期しない方法で機能の採用を増やすことができる良い例です。」
Waveのタスクはモデルに異なる要求を課します。深い調査には強力な推論と十分に裏付けられた結論が必要です。数百回繰り返される小さなチェックには、高速で低コストであることが必要です。Amplitudeは各タスクの品質、レイテンシ、コストを評価し、それに応じてモデルを割り当てます。Skates氏は次のように述べています。「OpenAIは強力な推論モデルと、より小さく高速なモデルの両方を提供してくれたので、製品全体で品質、レイテンシ、推論コストのバランスを取ることができました。」
WaveのOpportunity Investigatorでは、Amplitudeはモデルが発見を裏付けるか、誤検出を避けるか、評価者のフィードバックを取り入れるか、ツール障害から回復するか、主張を証拠と一致させるかを評価しました。GPT-6.1 Solは総合で5点満点中4.06を記録し、3つの代替モデルはそれぞれ3.62、3.52、2.94でした。それは5つの調査基準すべてでリードし、中央値調査時間も最速の54分でした。
WaveのData Science Agentの別の評価では、GPT-6.1 Solは100点満点中67.5を記録し、別の主要モデルは69.3でしたが、GPT-6.1 Solの平均モデルコストはディスパッチあたり1.28ドルで、後者は2.63ドルでした。GPT-6.1 Solは、ツール契約の遵守、推定と不確実性、証拠の根拠付けでも高いスコアを獲得しました。
コードのスキャンや小規模な評価チェックの実行などの高ボリューム作業では、AmplitudeはGPT-6 Lunaを使用してレイテンシとコストを低く抑えます。作業を専門エージェントに分割することで、チームはより高価な推論を最も必要とするタスクに割り当てることができます。
ワイヤーフレームとモックアップの生成では、OpenAIの画像生成モデルはソリューションワイヤーフレームで100点満点中80.3を記録し、別の画像生成モデルは63.9でした。Amplitudeの評価は、15の機会にわたるコミュニケーション品質、製品忠実度、指示遵守、テキストとUIの可読性、視覚的一貫性をカバーしました。
さまざまな業界の顧客がすでにベータ版でWaveを使用して製品改善を特定・リリースしています。Waveはセッションと分析データを分析し、提案された修正、技術計画、受け入れ基準を含む推奨事項を開発します。そこから、チームは自動化のレベルを制御できます。ほとんどのチームはバグ修正をコーディングエージェントに直接送信しますが、新機能や大きな賭けは人間のレビューを受けます。
ローンチに至る変更の場合、発見から実行までの道のりは短いことがあります。顧客がローンチした実験、フラグ、ガイドのうち、4分の1はWaveが機会を発見した同じ日に稼働し、半数は4日以内に、3分の2は1週間以内に稼働しました。
Skates氏は次のように述べています。「OpenAIとの私たちの野心は、自己改善する製品を企業のソフトウェア構築方法にすることです。」OpenAIのモデルが推論とコーディングで向上するにつれて、チームはより多くの調査と実装作業をエージェントに委任できるようになり、最終的により良い製品をより早くユーザーに届けられるようになります。Amplitudeはすでにそれを実感しており、エージェントが自社製品の改善を見つけてリリースを支援する一方で、チームは他の優先事項に取り組んでいます。「ソフトウェアがチームと並行して製品改善に取り組むとき、チームはどれだけ多くのことを達成できるかに驚くでしょう。」