本文にスキップ
AI News HubLIVE
サイト内リライト5 分で読了

Concurrence が Unity Gateway で兆トークン規模の臨床 AI をいかに統治するか

記事の要約

Concurrence は Databricks 上で Lakebase、Unity Catalog、Unity Gateway を統合し、臨床 AI エージェントをコンプライアンスとセキュリティの制約下で大規模に運用している。本番環境では 30 日ごとに約 1008 億入力トークンと 1120 万回の LLM 呼び出しを処理し、年換算で約 1.2 兆入力トークンに相当する。シミュレーションテスト、BAA 準拠のルーティング、統合 AI ゲートウェイによって開発と本番のワークロードを統治している。

Concurrence が Unity Gateway で兆トークン規模の臨床 AI をいかに統治するか
誤りを報告

訂正窓口はまだ利用できません。記事情報をコピーして保存できます。

訂正案内
本文へ

医療 AI には誤りの余地がほとんどない。Concurrence は患者向けおよび医療従事者向けのワークフローで臨床 AI エージェントを運用しており、AI 臨床医、看護師、ケアコーディネーターから、環境ドキュメンテーション、ケアプラン要約、知識検索までを手がけている。こうしたエージェントは、信頼できる患者コンテキスト、データとモデルアクセスへの明確な統制、すべてのやり取りの可視性を必要とし、同時に厳格なコンプライアンス要件を満たさなければならない。本番 AI 環境では、30 日ごとに約 1008 億入力トークンと 1120 万回の LLM 呼び出しを処理し、年換算で約 1.2 兆入力トークンに相当する。月間トークン量は 2025 年末のベースラインから 2026 年 7 月にかけて約 5 倍に増えた。この規模を支えるため、同社は機能を Databricks 上に統合し、エージェントと会話の状態管理に Lakebase、データと AI 資産の統治に Unity Catalog、急成長する開発者 AI ワークロードの集中アクセスとセキュリティに Unity Gateway を用いている。

信頼できるデータの面では、医療データはシステム間でしばしば矛盾する。患者が提供する情報が既存の記録と異なることもあり、最も新しい値が最も信頼できるとは限らない。Concurrence はこれを、既存レコードを上書きするのではなく新しい情報を不変イベントとして記録する方法で解決している。その履歴から現在の患者状態を計算しつつ、各情報の出所と来歴を保持する。同社はこれを「ワールドモデル」と呼ぶ。これによりエージェントは、患者について判明している事柄の一貫したビューと履歴を得られ、患者や臨床医から新たに得た情報を将来のワークフロー向けに状態へ書き戻せる。Databricks はこのアーキテクチャの共有データ基盤を提供する。イベントは Zerobus Ingest を通じて統治された Delta テーブルに流れ込み、月間 270 万件、ピーク時で 1 日 9 万件のワールドモデルイベントを含む。Apache Spark Declarative Pipelines がワールドモデルと臨床データを導出し、Unity Catalog が各顧客環境を統治し、Lakebase が業務アプリケーションに必要な患者状態、エージェントと会話の状態、ナレッジベースのデータを提供する。

ケアギャップと服薬アドヒアランスのアウトリーチはその一例だ。Concurrence のエージェントは、フォローアップが遅れている患者や服薬が途切れかけている患者に電話や SMS で連絡し、既存の患者コンテキストを使って会話を導き、新たに知った内容を将来のワークフロー用に患者状態へ書き戻すことができる。同社はまた、ケアパケットガイド、看護師向けケアプラン要約、臨床コンテンツレビュー画面といった本番アプリケーションを Databricks Apps 上で運用しており、いずれも同じ統治された患者コンテキストとインフラの上に構築されている。このアーキテクチャへの移行により、同社は自作のプロンプトログストアとリバース ETL ジョブを廃止し、統治された Delta テーブルと Lakebase Synced Tables に置き換えた。

テストの面では、新プラットフォーム上のすべてのエージェントは、実患者に触れる前に模擬患者に対してテストされる。現在、シミュレーションと評価のトラフィックは新プラットフォームの本番トラフィックの約 7 倍に達する。これが可能なのはデータアーキテクチャのおかげだ。患者状態は不変イベント履歴から計算されるため、チームは実際の患者記録を変更せずに状態を再生し、異なる経路をテストできる。これにより、患者へ展開する前に、エージェントがさまざまなシナリオにどう反応するかを評価できる。エージェントのトレースは Zerobus Ingest を通じて Delta テーブルに流れ込み、それを生み出した臨床データと同じ場所に格納される。スケジュールされた ai_query ジョブが Databricks ホスト型の Claude を使い、会話の品質と安全性を採点し、記憶を抽出し、結果を Delta に書き戻す。患者データ、トレース、成果、評価が同じ統治基盤上にあるため、チームは性能変化がモデル、データ、ワークフローのどこに由来するかを調査できる。

ガバナンスとコンプライアンスの面では、HIPAA の要件が最初からアーキテクチャを形作ってきた。Concurrence は現在 HIPAA、GDPR、SOC 2 に準拠しており、HITRUST と ISO 27001/42001 は進行中だ。医療機関ごとに固有のスキーマとサービスプリンシパルが割り当てられ、アクセス制御、リネージ、監査証跡は Unity Catalog を通じて統治される。バッチ AI ワークロードでは、Concurrence は BAA の下で Databricks ホスト型 Claude による ai_query ジョブを実行する。そのエンドポイントリゾルバは BAA 対象名前空間内のモデルのみを許可し、PHI が対象外モデルにルーティングされるのを防ぐ。同じ対象経路が、自傷、自殺念慮、医療緊急事態に対する安全分類も実行する。つまり、最もリスクの高い AI ワークロードの一部が同じアーキテクチャ上の制約によって保護されている。これはモデルルーティングの設計にも影響する。ルーティングはコストより先にコンプライアンスでゲートされ、モデルはまずワークロードのコンプライアンス要件を満たす必要があり、その後で品質、性能、コストが検討される。リアルタイムの患者・臨床医推論は現在も同社の既存プロバイダー基盤上で動作している。同社はリアルタイム推論向けの Unity Gateway 統合をすでに構築しフィーチャーフラグを付けており、合成カナリアで継続的にエンドツーエンド検証している。必要なコンプライアンス対応が整い次第、本番トラフィックを Unity Gateway へ移行できる。

コーディングエージェントの統治でも、Concurrence は開発者 AI に同じ考え方を適用する。コーディングエージェントはエンジニアリング、運用、研究で使われており、機密性の高い医療データを扱う顧客環境で働く前方配置エンジニアも利用している。Concurrence はすべてのコーディングエージェントのモデルとツールのトラフィックを、Unity Gateway のコーディング CLI「ug」経由にルーティングする。開発者は承認済みモデルと MCP ツールへの単一の統治された経路を得られ、各リクエストは発信者の身元と関連付けられたままになる。MCP アクセスは同じ環境で集中管理され、権限はエンジニアグループ単位で割り当てられ、エージェントが Databricks、Datadog、Linear などのツールにアクセスする際には各ユーザーが個別に認証する。規模はすでに相当なものだ。7 月には 14 名のユーザーが Unity Gateway 経由で 358.5 億入力トークンを生成し、その 95.37% がキャッシュ読み取りだった。ug が 7 月 10 日に展開されて以降、同社のコーディングエージェントは約 36 万リクエストと累計 610 億入力トークンを生み出している。コーディングエージェントのトラフィックを集中化することで、Concurrence は開発者 AI の使われ方とコストを可視化できる。各リクエストは発信したエンジニアに帰属し、個人は ug usage で自分の使用量を確認できる。組織レベルでは system.ai_gateway.usage の Databricks 使用データを使い、利用モデル、トークン消費、キャッシュ率、個人・チーム別の支出を追跡している。

AI アクセスの統合では、Concurrence の目標は本番、バッチ、開発者 AI を Unity Gateway という共通の推論制御点の下にまとめることだ。開発者 AI はすでに Unity Gateway 経由で稼働し、バッチ推論は BAA 対象経路を通じて Databricks ホスト型モデル上で動いている。現在、コーディングエージェントのモデル利用の大半は Claude Opus 4.8 と GPT-5.6 Sol が占め、Opus 5 の利用が伸びている。リアルタイムの患者・臨床医推論は、必要なコンプライアンス対応が整うまで既存プロバイダー基盤に残る。このマルチモデル戦略は臨床ワークロードで特に重要だ。同社は現在 14 モデルを本番推論に供し、46 モデルの統治カタログを維持している。本番トラフィックの大半はより小さく高速なモデルで処理され、フロンティアモデルはより複雑な推論に温存される。Concurrence は、医療タスクごとにどのモデルが最も優れるかを判断するための臨床推論ベンチマークを開発している。また、Unity Gateway Smart Routing をテストし、自社開発中の医療特化ルーティング手法と比較して結果を公開する計画だ。医療領域ではモデルの適格性がまずコンプライアンスで決まるため、これらの評価は、各ワークロードに定められた境界内でインテリジェントルーティングがモデル選択をどう最適化できるかを検証するものになる。開発者側では、同社は Omnigent をコーディングエージェント環境全体のメタハーネスとして検討している。

より多くのワークフローを Databricks へ移すにつれ、この基盤はエージェントのやり取りごとに価値を増していく。各エージェントの作業は、次のエージェントが開始する患者状態を豊かにし、新しいワークフローが既存コンテキストを再構築せずに再利用できるようにするため、新規 AI ワークフローの追加にかかる増分コストと工数を抑えられる。年換算約 1.2 兆の本番入力トークンという規模では、この複利的な基盤が意味を持つ。患者コンテキスト、運用状態、トレース、評価、ガバナンス、AI アクセスを Databricks 上に集約することで、Concurrence は医療が求める信頼性と統制を保ちながら、高リスクの臨床 AI を拡張できる。

要点と分析を開く

記事インテリジェンス

エンジニア中級

要点

  • 本番 AI は 30 日ごとに約 1008 億入力トークンと 1120 万回の LLM 呼び出しを処理し、年換算で約 1.2 兆入力トークン。月間トークン量は 2025 年末のベースラインから 2026 年 7 月までに約 5 倍に増加。
  • 不変イベントと「ワールドモデル」から患者状態を計算し、Zerobus Ingest、Delta、Spark Declarative Pipelines、Unity Catalog、Lakebase が統治されたデータ基盤を構成する。
  • すべてのエージェントは実患者に触れる前に模擬患者でテストされ、シミュレーションと評価のトラフィックは本番の約 7 倍。BAA 対象の経路と Unity Gateway がモデルとツールのアクセスを統制する。
  • コーディングエージェントのトラフィックは Unity Gateway の CLI「ug」で集中管理され、7 月には 14 ユーザーが 358.5 億入力トークンを生成、うち 95.37% がキャッシュ読み取り。
  • ルーティングはコストより先にコンプライアンスでゲートされ、14 モデルが本番推論を担い、46 モデルの統治カタログを維持している。

要点と分析は自動生成され、誤りを含む場合があります。原典をご確認ください。