Dubbing v2 の発表：革新的な新しい吹き替えモデル

ElevenLabs は本日、革新的な AI 吹き替えモデル Dubbing v2 を発表しました。このモデルは、元の話者の感情とパフォーマンスを初めてすべての言語にわたって保持します。従来のシステムがトランスクリプトのみに依存していたのに対し、Dubbing v2 は元のパフォーマンスに直接条件付けすることで、トーン、ペース、話し方、感情的な意図を保存します。これにより、AI 吹き替えにおける最大の未解決問題の一つである、翻訳された音声がまるで元の話者自身が話したように聞こえるという課題を解決します。

従来の AI 吹き替えシステムは主にテキストに依存しており、正確な翻訳を生成できる一方で、人間らしい自然なニュアンスが失われがちでした。感情、タイミング、強調、ためらい、エネルギーといった要素はテキストだけでは再現が困難です。Dubbing v2 は元のパフォーマンスを直接利用することで、話者のイントネーションやトーンを捉え、それを言語間で転送します。その結果、より自然で表現力豊かな吹き替えが可能になり、元の話し方に忠実でありながら、各言語で自然に聞こえるようになります。

優れた吹き替えは単なる直訳ではありません。言語ごとに異なる表現、リズム、文構造が必要です。Dubbing v2 は同期認識型翻訳システムを備えており、開始点、終了点、ペースを自動的に調整するため、手動での調整が最小限で済み、プロ仕様の吹き替えに近い出力が得られます。

プロの吹き替えは 1 分あたり数百ドルかかることもあり、翻訳者、声優、編集者、オーディオエンジニアを含む大規模な制作パイプラインが必要でした。Dubbing v2 はこのプロセスを自動化し、クリエイターや企業が複雑なワークフローや複数のベンダーを調整することなく、高品質な多言語コンテンツを制作できるようにします。

クリエイター向けには、ElevenCreative 内でワンクリックにより YouTube 動画などをローカライズ可能で、元のクリエイターの個性と話し方を保持したまま、世界中の視聴者に自然な音声を届けられます。同時に、クリエイター向け吹き替えパートナープログラムも開始し、対象クリエイターには割引を提供します。マーケティングチーム向けには、キャンペーンをゼロから作り直すことなく、国際市場向けの高品質なローカライズを実現します。スタジオや放送局向けには、ElevenProductions が Dubbing v2 とプロのローカライズサービスを組み合わせ、エンドツーエンドの制作フローを提供します。

Dubbing v2 は本日より ElevenCreative および ElevenProductions で利用可能です。今後 7 日間、Free プランで 1 分、Starter プランで 15 分、Creator+ プランで 30 分の無料利用が可能です。API アクセスは近日公開予定で、詳細はセールスチームまでお問い合わせください。