ArisGlobalは、薬剤警戒、規制、医療業務、臨床、品質機能にわたるライフサイエンス技術のプロバイダーです。同社は、Amazon Bedrock上でライフサイエンス向けに特別に構築されたAIエンジンNavaXを開発し、有害事象のケース処理を自動化しました。ArisGlobalがAmazon Bedrockを選択した理由は、基盤モデルへのマネージドアクセス、EU地理的クロスリージョン推論、マネージドプロンプトキャッシングです。エンタープライズ顧客が独自のコンプライアンス要件を追加するにつれて、共有プロンプトプレフィックスは6か月で約150%増加し、ケースあたりの推論コストは200%以上増加しました。
ArisGlobalは当初、リクエストの最大部分である各ソースドキュメントをキャッシュしました。しかし、これにより増大する共有プロンプトプレフィックスがキャッシュの外に置かれました。順序を逆にして共有プレフィックスをキャッシュすることで、ArisGlobalは実効入力コストを削減し、比例しないコスト増で追加テナントをサポートしました。
ArisGlobalは、薬剤警戒、規制業務、品質、医療情報のための統合SaaSプラットフォームであるLifeSphereの創設者です。LifeSphereは、収益上位20の製薬組織を含む世界中の製薬会社にサービスを提供しています。システム全体はAWS上で実行されています。
LifeSphere NavaXは、ArisGlobalのAIエンジンであり、医薬品の安全性を記録システムから戦略的優位性のシステムへと変革します。ArisGlobalは2025年3月に、AnthropicのClaudeを使用してAmazon Bedrock上で最初の生成AIソリューションを本番環境化しました。ArisGlobalの内部本番テレメトリによると、規制された製薬環境で100万件以上の実際のトランザクションを処理し、複数のエンタープライズテナントにわたって数十億のトークンを処理しました。モデルの可用性はリージョンによって異なります。
製薬会社が有害事象報告を受け取ると、通常、患者の薬剤反応を記述した複数ページのPDFであり、NavaXの動的データ抽出(DDE)エージェントは約130のフィールドを抽出します。これらのフィールドには、患者の人口統計、被疑薬、報告者情報、事象のタイムライン、重篤性基準、規制分類が含まれます。このコンテンツには保護された健康情報が含まれるため、ArisGlobalは責任あるAI制御を本番展開の標準部分として適用します。Amazon Bedrock Guardrailsなどの機能を利用してコンテンツをフィルタリングし、機密情報を検出またはマスクします。抽出されたフィールドはスキーマに対して検証され、ソースドキュメントに基づいています。
この抽出は、モデルへの複数の順次リクエストにわたって行われます。各リクエストはケースフォームの異なるセクションに焦点を当て、それぞれが以下を運びます:システム指示(モデル動作ルール、出力形式仕様、規制コンプライアンス制約)、顧客固有ルール(テナントごとの抽出ロジック、フィールドマッピング、製薬会社ごとに異なるビジネスルール)、抽出スキーマ(約130のターゲットフィールドとタイプ、検証ルール、少数ショット例)、ソースドキュメント(有害事象PDF、多くの場合10〜200ページ)。
2つの入力が異なるスコープで繰り返されます。共有プロンプトプレフィックスには、システムルール、抽出スキーマ、少数ショット例が含まれます。これは、同じエージェントを使用するリクエスト、ケース、テナント間で繰り返されます。ソースドキュメントは、1つのケースに関連するリクエストに対してのみ繰り返されます。
NavaXが最初のエンタープライズテナントで開始されたとき、システムプロンプトは簡潔でした。ArisGlobalが追加の製薬会社をオンボーディングするにつれて、各社が特定の要件を持ち込みました:カスタムフィールドマッピング(テナントAはテナントBとは異なる反応発現をマッピング)、規制管轄ルール(EU ICSRとFDA MedWatchおよびPMDAフォーマットの比較)、重篤性評価と因果関係のための会社固有のビジネスロジック、各社の過去のケースに合わせて調整されたテナントごとの少数ショット例。
6か月間で、共有プロンプトプレフィックスは約72,000から180,000トークンに増加し、150%の増加となりました。ケースごとに複数の順次リクエストがあるため、ケースあたりの推論コストは200%以上増加しました。プレフィックスはテナントごとに増加し、すべてのリクエストで再処理されたため、プロンプトの増加はトランザクション量と複合しました。
表1は、元のドキュメント優先リクエスト順序と本番のプロンプト優先設計を比較しています。側面:リクエスト順序(ケースごとのドキュメント、キャッシュチェックポイント、共有プロンプトプレフィックス vs. 共有プロンプトプレフィックス、キャッシュチェックポイント、ケースごとのドキュメント)。キャッシュされたプレフィックス(ケースごとに変化するドキュメント vs. リクエスト間で繰り返される共有プロンプトプレフィックス)。再利用スコープ(1つのケースの残りのリクエストのみ vs. 同じエージェントを使用するケースとテナント間のリクエスト)。コスト効果(増大するプロンプトが完全な入力レートで繰り返し処理される vs. フリート全体のプロンプト再利用が次線形のコスト増加をサポート)。EUルーティング(EU地理的クロスリージョン推論は変更なし)。
Amazon Bedrockプロンプトキャッシングは、リクエストの開始からキャッシュチェックポイントまでの連続したプロンプトプレフィックスをキャッシュすることで、レイテンシーと入力トークンコストを削減します。同じプレフィックスを持つ後続のリクエストは、再度処理するのではなく、削減されたレートでキャッシュされたトークンを読み取ることができます。キャッシュエントリにはTTL(Time-to-Live)があり、キャッシュヒットが成功するとリセットされます。
キャッシングはブロックベースではなくプレフィックスベースです。リクエストセクションは順番に評価されます—ツール、システム、次にメッセージ—そのため、以前のセクションを変更すると、それに続く一致するコンテンツが無効になります。
明示的なキャッシュチェックポイントを使用すると、正確なプレフィックス境界を選択できます。サポートされているClaudeモデルでは、リクエストごとに最大4つのチェックポイントが許可されます。安定した再利用可能なプレフィックスの後に各チェックポイントを配置します。モデル固有の最小プレフィックスサイズを満たします。Claude Sonnet 4.5の場合、最小は1,024トークンです。チェックポイントは次の順序で評価されます:ツール、システム、メッセージ。以前のセクションを変更すると、後のセクションのキャッシュ一致が無効になります。デフォルトのTTLは5分です。一部のモデルは「ttl」:「1h」を設定することで1時間のTTLをサポートします。長いTTLのエントリは短いTTLのエントリより前に配置する必要があります。
簡素化されたキャッシュ管理では、静的コンテンツの後に1つのチェックポイントを配置します。Amazon Bedrockはそのポイントから後方に最長一致プレフィックスを最大約20のコンテンツブロックまで検索します。1つのチェックポイントで最長一致プレフィックスを自動的に見つけることができます。安定したコンテンツがルックバック範囲を超える場合は、明示的なチェックポイントを使用します。
ArisGlobalは、最初に送信される共有プロンプトプレフィックスの直後に1つの明示的なチェックポイントを使用します。ケースごとのドキュメントはチェックポイントに続き、各リクエストで処理されます。これにより、初期のリクエスト順序が逆になります。キャッシュできるのはプレフィックスのみであるため、順序によって再利用できるコンテンツが決まります。
最初の設計では、10〜200ページのソースドキュメントを各リクエストの先頭に置き、その後にチェックポイントを配置しました。共有プロンプトプレフィックスとセクション固有の質問はチェックポイントに続きました。この設計は1つのケース内でドキュメントを再利用しました:最初のリクエストがそれをキャッシュに書き込み、そのケースの後続のリクエストが削減されたレートでそれを読み取りました。次のケースは異なるドキュメントを使用し、新しいキャッシュ書き込みが必要だったため、再利用はケースやテナントを超えて拡張されることはありませんでした。さらに重要なことに、共有プロンプトプレフィックスはチェックポイントの後に残り、すべてのリクエストで完全な入力レートで処理されました。コスト曲線を驱动するコンテンツがキャッシュから除外されていました。
本番設計は、別のチェックポイントを追加するのではなく、順序を変更しました:共有プロンプトプレフィックスが最初、チェックポイントがそれに続き、ドキュメントが最後です。同じチェックポイントが、フリート全体で再利用可能なキャッシュエントリを作成します:以前は、キャッシュされたドキュメントプレフィックスは1つのケースに固有で、共有プロンプトはキャッシュされませんでした。以後、キャッシュされた共有プロンプトプレフィックスは、同じエージェントを使用するリクエスト、ケース、テナント間で繰り返されます。ArisGlobalは1つのケース内での限定的なドキュメント再利用を放棄し、フリート全体でのプロンプト再利用を獲得しました。共有プレフィックスは、顧客が追加されるにつれて増加する部分でもあります。
ほとんどのアクティブアカウントでは、テナントごとにケースが約5分ごとに到着し、複数のテナントが同時に実行されます。このトラフィックにより、各キャッシュヒットがTTLをリセットするため、営業時間中は共有プレフィックスがウォーム状態に保たれます。
ドキュメントの後に2番目のチェックポイントを置くと、共有プロンプトとそのケースのドキュメントで構成される結合プレフィックスがキャッシュされます。エントリは依然として1つのケースに固有です。したがって、ArisGlobalは、読み取りがフリート全体で償却されるプレフィックスを優先しました。共有プロンプトプレフィックスはケースとテナントにわたってスケールします。ケースごとのドキュメントはスケールしません。
本番では、典型的なリクエストの入力トークンの65%が共有プロンプトキャッシュから提供されます。図1は、キャッシュ読み取りが常にキャッシュ書き込みを上回っていることを示しています。
共有プロンプトプレフィックスをキャッシュすることで、EU地理的クロスリージョン推論プロファイルを維持しながら、次の結果が得られました:キャッシュされた読み取りレートで提供される入力トークンの65%、キャッシュされた本番リクエストのエンドツーエンドレイテンシーが最大25%短縮、実効入力コストが約50%削減、月間190億トークン以上で月間推論支出全体が約40%削減、比例しないコスト増で約15%多くのエンタープライズテナントをオンボーディング、EU地理的ルーティングは変更なし。プロンプトキャッシングは既存の推論構成内で動作します。
ArisGlobalの本番請求データに基づくと、入力トークンの65%をキャッシュから提供することで、実効入力コストが約50%削減されました。月間190億トークン以上で、これは約40%の月間推論支出全体の節約をもたらしました。
注:このセクションのすべてのパフォーマンスとコストの数値は、ArisGlobalがAWSに報告した本番メトリクスを反映しています。結果は、プロンプト構造、トラフィックパターン、キャッシュヒット率によって異なります。
ArisGlobalの経験は、大規模で繰り返されるプロンプトプレフィックスを持つ多くのワークロードにガイダンスを提供します:最大のものではなく、繰り返されるものをキャッシュする。大規模なケースごとのドキュメントは限られた再利用しか提供しませんが、バイト単位で同一の共有プロンプトプレフィックスはリクエスト、ケース、テナント間で再利用できます。リクエスト順序を逆にし、キャッシュチェックポイントを戦略的に配置することで、ArisGlobalはコンプライアンスとパフォーマンスを維持しながら大幅な効率改善を達成しました。