エンターテインメントマーケティングチームは、スタジオ、ネットワーク、ストリーミングアプリケーションにまたがる数万の動画アセットを管理しています。ほとんどのキャンペーンは同じ動画発見の問題から始まります。それは、視聴者に響く一瞬を映像の中から見つけることです。ブリーフが届くと同時に時間は動き始め、彼らが必要とするものはほとんどデータベースでは記述できないものです。
セマンティック検索だけでは限界があります。それは、あなたが言葉にできる質問にしか答えられません。キャラクターがコーヒーマグを持っているシーンを探すように頼めば、千話の中のすべてのコーヒーマグを見つけてしまいます。しかし、実際にエンターテインメントキャンペーンを動かすクエリはそれとは全く異なります。それらは判断の問題です。番組のどの瞬間が広まるのか、どのセリフが引用に値するのか、どの1フレームがミームとして機能するのか。
これらの質問は検索ボックスに入力できません。答えるには、検索インデックスが持っていない2つのものが必要です。それは、特定のライブラリにとって「引用可能」や「ミーム化可能」が何を意味するかという編集上の定義と、ライブラリの外で何が動いているかという継続的に更新される視点です。歴史的に、これに答えることは、番組に深い知識を持つ人が1週間映像を見ることを意味し、その人はカタログ全体にスケールしません。
この記事では、Social Departmentがこれらの編集上の質問を実行可能な検索パイプラインとしてエンコードする方法を説明します。その結果がQuickSearchです。これは単一アクションのクエリセットで、マーケターが説明する必要なく探しているクリップを返します。共有可能なシーン、引用可能なセリフ、ミーム化可能な瞬間、トレンドアラインです。
このソリューションのモデルはAmazon Bedrock上で実行されるため、顧客データはAWSデータ境界内に留まります。モデルプロバイダーと共有されたり、基盤モデルのトレーニングに使用されたりすることはありません。
Social Departmentの責任あるAIへのアプローチは「AIが提案し、人間が決定する」です。本番環境では、コードが生成された出力をソース素材と照合してチェックします(たとえば、引用がエピソードの文字起こしにない場合は破棄されます)。Amazon Bedrock Guardrailsは顧客の検索テキストをプロンプト攻撃からスクリーニングするのに役立ち、顧客チームの担当者が公開前にすべての投稿を承認します。
Social Departmentはパイプラインアーキテクチャ、検索システム、および各アクションの背後にある編集基準を所有しています。AWSプレミアティアサービスパートナーのTrackItがその設計に基づいて実装および提供しました。TwelveLabsのMarengo 3.0とPegasus 1.2モデルがAmazon Bedrock上でパイプラインの基盤となるシーンレベルの動画推論を提供します。AWSはインフラストラクチャ、AnthropicのClaudeモデルを含むモデルアクセス、およびサーバーレスオプションのAmazon OpenSearch Service(Amazon OpenSearch Serverless)を検索用に提供します。
範囲に関する注記:この記事では、システムのAWS部分(取り込みとインデックス作成パイプライン、検索パス、およびそれらを実行するサービス)について説明します。Social Departmentが所有するコンポーネント(メディアとデータバックボーン、コンテンツ分析と発見エンジン、編集基準、評価プログラムを含む)は、アーキテクチャを理解するために必要な深さでのみ説明されます。以下に示すサービスはこの記事の対象であり、Social Departmentのシステム全体の目録ではありません。
Social Departmentについて
Social Departmentはエンターテインメントマーケティング向けのAIオペレーティングシステムであり、主要なスタジオ、ネットワーク、ストリーマー、FASTアプリケーションにサービスを提供しています。キャンペーン戦略、アセット作成、公開、パフォーマンス最適化をクライアントのコンテンツライブラリ全体にわたって自動化します。これらの機能のほとんどは、まず映像内の適切な瞬間を見つけることに依存しており、セマンティッククリップ発見は当初から製品の中核でした。
セマンティック検索だけでは不十分だった理由
エンターテインメントマーケティングは、汎用検索レイヤーでは満たせない2つの制約の下で動作します。
価値のあるクエリは誰も表現できないクエリです
マーケターはオブジェクト、場所、セリフを説明できますが、何が広まるかは説明できません。この判断(この瞬間は当たる、あれは当たらない)こそが仕事の実際のスキルです。それは自動化不可能でした。なぜなら、ビデオに何が含まれているかではなく、視聴者がどう行動するかを知ることに依存しているからです。コンテンツだけを理解する検索レイヤーは、人間が意図を提供する必要があり、その意図をうまく提供するにはすでに番組を見ている必要があります。
トレンドシグナルはライブラリの外にあり、異なる時計で動く
どれだけの動画理解でも、今朝視聴者が何について話しているかはわかりません。その情報はライブラリの外で作成され、毎時変化しますが、ライブラリは新しいコンテンツが追加されたときにのみ変化します。これらのクエリに答えるシステムは、トレンドシグナルを継続的に取得し、リクエスト時にライブラリと照合する必要があります。
この区別が核心的なアーキテクチャ決定を導きました。コンテンツ理解とトレンド取得は独立したパイプラインとしてそれぞれのスケジュールで実行され、ユーザーがQuickSearchアクションを選択したときにのみ結合されます。
ソリューションの概要
QuickSearchにより、チームはビデオライブラリと異なる方法で対話できます。システムが待つのではなく提案する方法です。4つのアクションを提供し、それぞれに独自の検索戦略、編集基準、ランキングモデルがあります。以下のウォークスルーでは、それぞれの実装方法を説明します。ここでのリストはそれらの機能を紹介します。
共有可能なシーンは、長時間の対決、クライマックス、セットピースなど、実質的で自己完結したシーンを表面化し、素早い反応よりも展開されたシーケンスに偏ります。
引用可能なセリフは、短いクリップ長に制限された、パンチの効いた引用可能な会話を見つけ、そのタイトルでシグナルが利用可能な場合、実証的に流通したセリフを優先します。
ミーム化可能な瞬間は、ミームとして機能する個々のフレームを特定し、実際のフレームに基づいたキャプションを生成します。専用の抽出とスコアリングのステップがサムネイルを取るのではなくフレームを選択します。
トレンドアラインは、現在トレンドになっているものを取り、ライブラリ内でそれに正当に関連する瞬間を見つけます。そのため、数年前に放送終了したタイトルがライブの会話に再び入ることができます。
これらに加えて、Social Departmentはアクションがカバーしないすべてのものに対する自然言語検索と、参照画像がライブラリ全体で視覚的に類似したコンテンツを返す画像ベースの検索を維持しています。
次の図は、アーキテクチャの3つの部分がどのように接続するかを示しています。コンテンツ理解パイプラインはライブラリを検索可能にし、トレンド取得レーンは外部のトレンドシグナルを引き込みます。QuickSearchジョブレイヤーはリクエスト時に両方を結合します。
図1:高レベルアーキテクチャ
アーキテクチャのウォークスルー
システムには独立したスケジュールで実行される3つの部分があります。2つは情報を取得して構造化します。3つ目はユーザーの単一選択を両方にまたがる多段階検索操作に解決します。
コンテンツ理解パイプライン
このパイプラインはライブラリを読み取り可能にします。取り込み時に非同期で動作します。AWS Step Functionsステートマシンが約2ダースのPython AWS Lambda関数をエンドツーエンドで調整します。次のステップでは、1つのビデオをアップロードからインデックスされたクリップまで追跡します。
アップロードとトリガー – ビデオはチームごとのAmazon Simple Storage Service(Amazon S3)バケットに到着します。Amazon EventBridgeを介してルーティングされたS3 Object CreatedイベントがStep Functions実行を開始します。
メタデータ – 最初のLambda関数がSocial Departmentのメディアとデータバックボーンに対してタイトル、チーム、エピソード、公開識別子を解決し、ビデオメタデータをAmazon DynamoDBに書き込み、アセットを処理中として報告します。
トランスコード – AWS Elemental MediaConvertがアセットを480p H.264に適応デインターレースを使用してトランスコードします。Step Functionsタスクトークンを使用して、ステートマシンがポーリングではなくジョブを待機します。
ショット検出 – Amazon RekognitionがAmazon Simple Notification Service(Amazon SNS)コールバックを使用して非同期セグメント検出を実行します。2番目のLambda関数が生のショットを約10〜20秒のコンテンツ認識範囲にマージおよび分割します。これらの範囲がパイプラインの残りの部分が展開する単位です。範囲内で、Social Departmentは固定間隔で埋め込みをセグメント化します。これはエピソードテレビのペースに合わせた設計上の選択です。インデックスされたクリップは短く固定長ですが、それが置かれる範囲はカットに従います。
埋め込み – 範囲はStep Functions分散マップで処理されます。各呼び出しは開始時間と終了時間をAmazon Bedrock上のTwelveLabs Marengo 3.0に非同期呼び出しで渡します。この呼び出しは視覚、音声、文字起こしの次元にわたるマルチモーダル埋め込みを生成し、このパスではファイル分割は不要です。
シーン記述 – Amazon Bedrock上のTwelveLabs Pegasus 1.2が並列分散マップでセグメントごとに実行され、シーンレベルの物語記述、感情、テーマ、対話タイプ、物語上の位置を生成します。これらがランキングモデルが後で推論するテキストレイヤーを形成します。Pegasusは時間範囲ではなく事前にカットされたファイルを受け取るため、別のLambda関数が各範囲を最初にカットし、シーン遷移を保持するために両側に数秒のパディングを追加します。
文字起こしとエンリッチメント – 埋め込みと並行して、パイプラインは自動フォールバック付きの音声テキスト変換と、画面上のテキスト、視覚ラベル、キャラクターグラウンディングに使用される顔コレクションのためのAmazon Rekognitionを実行します。Amazon Bedrock上のAnthropicのClaudeモデルが番組のキャラクターマップを抽出し、番組レベルのコンセプトとキャラクターの役割を生成します。
インデックス作成 – Amazon Bedrockが埋め込み出力をAmazon S3に書き込みます。最後の分散マップが埋め込み、文字起こし、画面上のテキスト、シーン記述フィールド、ラベルをAmazon OpenSearch Serverlessにインデックスします。
パイプラインはエンドツーエンドでイベント駆動型です。すべてのLambdaタスクは指数バックオフで再試行します。シーン記述ステージはフルジッター付きの専用スロットリング再試行を追加します。重要でないエンリッチメントステップは実行を失敗させるのではなく優雅に劣化し、ハード障害はエラーハンドラーにルーティングされ、理由を記録してアセットを失敗として報告します。
Marengoの同一リージョンステージング。Marengoは特定のAWSリージョンで利用可能です。Amazon Bedrockの非同期呼び出しは、エンドポイントと同じリージョンのAmazon S3バケットから入力を読み取り、出力を書き込みます。パイプラインはこれらのパラメータに基づいて構築されています。Marengoを呼び出す前に各ビデオを米国東部(バージニア北部)の専用バケットにステージングし、同じバケットから埋め込み出力を読み戻します。残りのインフラストラクチャはホームリージョンに留まり、各埋め込みジョブはモデルと並行して実行されます。リージョン別のモデル可用性については、Amazon BedrockのAWSリージョン別モデルサポートを参照してください。
トレンド取得
このパイプラインはライブラリとは独立して継続的に動作し、トレンドアラインを可能にするものです。
2つのレーン、1つのフィード – トレンドデータは意図的に異なるメカニズムを持つ2つのレーンを通じて取得されます。デイリーレーンはAmazon EventBridge cronを使用し、リージョンごとに1日1回のスケジュールフェッチを、固定UTC時間ではなく各リージョンの現地の朝に合わせて実行します。ヒートレーン(Heat Seeker)は初期段階の勢い順に並んだトレンドを読み取り、ユーザーが明示的に要求したときにのみフェッチされ、既に保存されているものが十分に新しい場合は再利用します。この分割はコスト上の決定です。cronは誰かが作業しているかどうかに関係なくすべてのティックで全リージョンに支払いますが、TTLの後ろの需要に応じたフェッチは静かな日には何もコストがかかりません。
リージョンフィードは別々の母集団 – トレンドは地理的リージョンごとに取得され、現在4つのフィード(世界的、米国、英国、オーストラリア)があります。リージョンはグローバルリストに対するフィルターではありません。各リージョンは独自のスケジュールで別々に発見されるため、同じ日のトレンドはリージョン間で本当に異なります。
解釈と編集ゲート – 生のトレンドデータは顧客に表示されません。Amazon Bedrock上のAnthropicのClaude Haikuが各トレンドをSocial Department独自のカテゴリスキーマに正規化します