Google、ジェミニオムニを発表：あらゆる入力から動画を生成するマルチモーダルモデル

Googleは、推論能力と創造性を融合させた新しいAIモデルシリーズ「Gemini Omni」を発表しました。最初のモデルであるGemini Omni Flashは、画像、音声、動画、テキストの任意の組み合わせを入力として受け付け、高品質な動画を生成できます。このモデルは、グローバルにGoogle AI Plus、Pro、Ultraサブスクリプションユーザー向けにGeminiアプリとGoogle Flowで提供開始され、今週からはYouTube ShortsおよびYouTube Createアプリでも無料で利用できるようになります。

Gemini Omni Flashの核となる能力は、複数の入力モダリティを統合して一貫性のある動画アウトプットを生成することです。ユーザーは自然言語で動画を編集でき、各指示が前の編集を基に積み重ねられるため、キャラクターの一貫性、物理法則の遵守、シーンの記憶が保持されます。例えば、彫刻を泡でできたものに変えたり、部屋の照明を音楽に合わせて点灯させたりできます。

このモデルは、現実世界の知識を活用し、重力や流体力学などの物理的直観を向上させているため、よりリアルなシーンを生成できます。また、歴史や科学、文化的文脈の知識を組み合わせることで、単なるパターンマッチングを超えた意味のあるストーリーテリングが可能です。例えば、タンパク質フォールディングを説明するクレイアニメーションや、26文字を表すユニークなオブジェクトを高速で表示する動画など、複雑なアイデアを視覚化できます。

Gemini Omni Flashは、画像、テキスト、動画、音声（初期は音声リファレンスのみ対応）などのリファレンスを組み合わせて、統一された出力を生成することもできます。これにより、ユーザーは自分のビジョンに合わせたコンテンツを、既存の素材から作成できます。

責任あるAIの開発として、Omniで生成されたすべての動画には不可視のSynthIDデジタル透かしが埋め込まれており、Geminiアプリ、ChromeのGemini、Google検索を通じて簡単に検証できます。また、ユーザーはアバター機能を使って自分の声で動画を生成できますが、音声や発話の編集機能については、安全な提供方法を継続的にテストしています。

今後数週間以内に、開発者やエンタープライズ顧客向けにAPI経由での提供も開始される予定です。Gemini Omniシリーズは、今後画像や音声などの出力モダリティもサポートする予定です。