実際にプロダクションで機能するAI機能をリリースするためのPMプレイブック

デモからプロダクションへの「死の谷」は、AI機能開発における一般的な課題です。多くのチームがプロトタイプで完璧な結果を見る一方、リリース前にレイテンシの急増、モデルの幻覚、A/Bテストでの有意な向上なしといった問題に直面します。実際には、これはモデルそのものよりもエンジニアリング規律の問題です。本記事では、プロダクトマネージャーがAI機能をデプロイする際の重要な経験をまとめています。

レイテンシ予算が最優先事項です。LLM推論は500ミリ秒から50秒かかることがあり、コンシューマー製品では200ミリ秒以内の応答が期待されます。一般的な誤りはp50レイテンシのみに注目し、p90を無視することです。インタラクションタイプごとに予算を定義する必要があります：同期（ユーザーが待つ）は1秒以内、プログレッシブ（ストリーミング出力）は最初のトークン500ミリ秒以内・完全応答5秒以内、非同期（ユーザーは他の作業可能）は20秒まで許容。コールドスタートを個別に測定し、パイプライン全体（前処理、推論、後処理、配信）のレイテンシを考慮します。ストリーミング出力を積極的に使用することで、ユーザーの知覚が改善されます。

優雅なフォールバック設計が重要です。AIの障害は新しい方法で予測不可能に発生するため、フォールバックは階層的に行います：モデルフォールバック（プライマリモデル障害時により単純で信頼性の高いモデルに切り替え）、キャッシュフォールバック（類似クエリにキャッシュ応答）、テンプレートフォールバック（完全な生成障害時に事前作成テンプレート）、優雅な省略（壊れたバージョンを見せる代わりにAI機能を表示しない）。原則は、ユーザーが未処理のAI障害に遭遇してはならないということです。

品質測定は従来のソフトウェアの二元的思考を打破します。4層のピラミッドを採用：第一層は安全性（必須、自動分類器で100%の出力をカバー）、第二層は事実正確性（ドメイン固有、ドメイン評価スイートで測定）、第三層は有用性（ユーザー中心、受入率、編集距離などを追跡）、第四層は喜び（最も測定が難しいが、採用に影響）。

A/Bテストは非決定的な出力による課題に直面します：グループ内分散により必要なサンプルサイズが3〜5倍増加します。エンゲージメントと品質を同時に測定し、時間効果（学習曲線や新規性バンプ）を考慮します。AI実験には2〜3倍の時間とトラフィックを割り当て、ベイズ法を使用し、定性調査と組み合わせることを推奨します。

モデルドリフト監視は長期運用の鍵です。データドリフト、プロバイダードリフト（GPT-4の動作変化など）、評価ドリフトに注意します。少なくとも毎日1〜5%のプロダクショントラフィックを自動評価、毎週入力分布特性を分析、毎月100〜500サンプルを人手評価する必要があります。

評価フレームワークは自動化と人手を組み合わせます：自動化では500〜2000ラベル付きサンプルのゴールデンデータセットを使用し、人手判断との一致率85%を目標とします。人手評価は5〜7人の評価者で、開発中は毎週、プロダクションでは毎月実行します。モデルを判定者として使う方法は、高ボリューム評価に有効ですが、常に人手判断で検証します。

優雅な劣化の設計：能力レベルを定義し（例：レベル5は完全能力、レベル4は遅延、レベル3は基本のみ）、劣化はスムーズかつ可能な限り目立たないようにします。劣化が顕著な場合は、静かに低品質な出力を押し出すよりも、積極的にコミュニケーションすることで信頼が構築されます。

プロンプトエンジニアリングをソフトウェアエンジニアリングとして扱います：バージョン管理、パラメータ化、200〜500の回帰テストケースの維持、プロダクションでのプロンプトパフォーマンス監視（受入率、ユーザー編集、再生成リクエスト）。プロンプト変更前にはカナリアデプロイを実施します。

最後に、これらのシステムはオプションではなく、AI製品の成功に不可欠です。厳格なエンジニアリング規律によってのみ、AI機能は真価を発揮します。