TwelveLabsのビデオAIがAWS Marketplaceで新たなユースケースを発見

大規模言語モデルがヘッドラインを独占していますが、ビデオAIはどうでしょうか？

TwelveLabsは、ビデオコンテンツを「視聴」し分析できるマルチモーダルAIモデルに特化しています。2020年に設立された同社は、ビデオインテリジェンス機能で強力な顧客基盤を築いてきました。

「世界のデータの80%以上が現在ビデオですが、最も理解されていません」とTwelveLabsの戦略的パートナーシップ責任者であるDanny Nicolopoulos氏は述べています。「当然、ビデオで収益化する企業や業界が最初に手を挙げました。それが主にTMEGS、すなわちテレコム、メディア、エンターテイメント、ゲーム、スポーツです。現在、その業界のほとんどの大企業と関わっています。」

Nicolopoulos氏は、theCUBE（SiliconANGLE Mediaのライブストリーミングスタジオ）のAWS Marketplaceシリーズのインタビューで、theCUBEの主席アナリストChristophe Bertrand氏と対談しました。彼らは、ビデオAIがエンターテイメントおよびスポーツセクターにもたらす価値と、TwelveLabsがAWS Marketplaceを通じてどのようにリーチを拡大したかについて議論しました。

TwelveLabsは2つのAIモデルを提供しています。Marengoモデルは、人間がビデオを見たり記憶を呼び起こしたりするのと同様にビデオを検索するために使用され、Pegasusはビデオコンテンツを分析してさらなる洞察を得るためのビデオ言語モデルです。これら2つのモデルは、Nicolopoulos氏が「強力な図書館員」と表現するものを形成しています。

「私がよく挙げる例は、友人と一緒にいて『ねえ、前回の試合でクォーターバックがタッチダウンを投げたあのプレイを覚えてる？』と言うようなものです」と彼は言います。「あなたはすぐにそれを頭の中で再生して見るでしょう。それが私たちのモデルの動作方法です。それにより、非常に正確に、セマンティック言語を使用して、ビデオの奥深くにある、他の方法では検索できない瞬間を見つけることができます。」

MarengoとPegasusに加えて、TwelveLabsは最近Rodeoをリリースしました。これは、ビデオ編集者が自然言語プロンプトで映像を検索して組み立てるのを支援するAIコパイロットです。この一連の機能は、カナダのスポーツ企業などの顧客にとって有用であることが証明されています。この企業はTwelveLabsのモデルを使用して、ソーシャルメディア向けの短いハイライトリールを作成しています。

「Rodeoは顧客の要望に応えて生まれました」とNicolopoulos氏は説明します。「彼らはモデルを互いに独立して使用して構築することを検討していましたが、より具体的な目的のために特にそれを求めていました。それは『より高速な検索、分析を含む編集プロセスを実際に加速し、またかなり面倒なプロセスへの良いスタートを切るにはどうすればよいか』というものでした。」

AWS Marketplaceに参加することで、TwelveLabsはより広範な顧客ベースにリーチし、典型的なエンターテイメントおよびメディアセクターを超えたモデルのさらなる応用を発見しました。多くの場合、顧客はすでに分析したいデータをAWS上に持っていますが、そうでない場合でも、TwelveLabsにはAWSエコシステムの一部である多数の統合パートナーがいます。

「私たちはさらに多くのユースケースを見つけています」とNicolopoulos氏は言います。「たとえば、自動車メーカーが、整備工場に入ってくる車を調べて初期分析を提供する自動メカニックを構築しました。法律事務所は膨大な証拠開示や調査証拠を理解しようとしています。保険会社は、紙ベースのプロセスを、人手を減らしたビデオベースのプロセスに変えようとしています。」

以下が完全なビデオインタビューで、SiliconANGLEとtheCUBEのAWS Marketplaceシリーズの取材の一部です。

（*開示：theCUBEはAWS Marketplaceシリーズの有料メディアパートナーです。AWS（theCUBEのイベント取材のスポンサー）や他のスポンサーは、theCUBEまたはSiliconANGLEのコンテンツに対する編集上の管理権を持ちません。）