プロンプトを新しいモデルに移行し、Amazon Bedrock上で最適化する

Amazon Bedrock上で生成AIアプリケーションを構築する際、プロンプトエンジニアリングは依然として最も手作業が多い部分の1つです。新しいモデルが利用可能になると、チームはプロンプトの調整と応答の再評価に数日から数週間を費やし、モデルロックイン、パフォーマンス低下、回帰の見落とし、反復サイクルの長期化を引き起こしていました。この課題に対処するため、Amazon BedrockはAdvanced Prompt Optimizationを発表しました。

Advanced Prompt Optimizationは、メトリクス駆動のフィードバックループを採用し、モデル重みを変更せずに強化学習スタイルでプロンプトを反復最適化します。ユーザーはプロンプトテンプレート、サンプル入力、オプションの正解、評価メトリクスを提供するだけで、システムがリクエスト送信、応答評価、プロンプト書き換えを自動的に繰り返し、指定されたメトリクスで最適なプロンプトを導き出します。最大5モデルを同時に最適化でき、最適化前後のプロンプト、評価スコア、最初のトークンまでの時間（TTFT）、推定コストを出力します。

評価モードは3種類用意されています。AWS Lambda関数モードは精度やF1スコアなどの具体的な指標に適し、LLM-as-a-Judgeモードは要約や推論などのオープンエンドなタスクに、ステアリング基準モードはブランドのトーンやフォーマット、安全制約の制御に使用します。また、PNG、JPG、JPEG、GIF、WebP、PDFファイルを含むマルチモーダル入力もサポートしています。

ユーザーはコンソールまたはAPI/SDKを通じて機能を利用できます。コンソールでは、最適化ジョブを作成し、モデルを選択し、JSONL形式の入力データセットをアップロードしてジョブを送信します。結果ページでは、最適化前後の評価スコア、最適化されたプロンプト、サンプルごとのTTFT、コスト見積もりが表示されます。API/SDKでは、boto3を使用してジョブ作成、ステータス確認、結果ダウンロードが可能です。

Amazon Bedrock Advanced Prompt Optimizationはプロンプトエンジニアリングのサイクルを大幅に短縮し、チームが新しいモデルへの移行や既存モデルの改善を迅速に行えるようにします。これにより、生成AIアプリケーションのパフォーマンス向上、コスト削減、イテレーションの加速が期待できます。