100ドルのAIミュージックビデオ：Claude Fable 5 vs GPT-5.6 Sol

私たちは、モデルに曲、厳格なドル予算、ツールセットを渡し、あとは邪魔をせずにフルミュージックビデオを自律的に生成させる、小さなエージェンティックハーネスを構築しました。モデルは、どの動画生成モデルが存在するかを調査し、クリップを生成し、自分の映像を視聴し、ffmpegで編集し、最終カットを組み立てます。

前回の比較テストの読者から、モデルごとにツールの使い方が実際にどう異なるかを見たいという要望があったため、フロンティアモデルに、各モデルが何を調査し、何を生成し、どのように編集するかを自ら決定する、オープンエンドで長期的なタスクを与えました。すべてのツール呼び出しを記録し、各モデルの動作を正確に確認できるようにしています（完全なトランスクリプトは以下）。

2つのモデル、Claude Fable 5とGPT-5.6 Solを、それぞれ25ドルと100ドルの予算で、合計4回実行しました。すべての実行で同じ曲（Bruno Mars & Mark Ronsonの「Uptown Funk」）、短いテキスト説明、タイムスタンプ付き歌詞トランスクリプトを使用しました。

セットアップ

各モデルは6つのツールを使用する自律ツール呼び出しループを実行しました：

• plan：思考のためのツール（コストなし、アクションなし）。
• web_search：生成モデルとそのAPIを調査し、必要に応じてミュージックビデオに関する情報を取得。
• get_budget：残り予算を確認。
• generate_imageおよびgenerate_video：予算を消費する唯一のツール。モデルは任意のFALまたはReplicateモデルを選択し、独自のパラメータを渡せます。
• run_command：ffmpeg/ffprobeが利用可能なローカルシェル。オーディオ分析、クリップのカットと連結、最終ビデオの合成に使用。

予算がゼロになると有料生成は拒否されますが、モデルは編集を継続できます。すべてのモデルメッセージ、ツール呼び出し、料金、エラーが記録されました。ハーネス全体はgithub.com/hershalb/music-video-arenaでオープンソース化されており、自分で実行できます。

4つのビデオ

以下の各クリップは、モデルが最終的に自己組み立てしたoutput.mp4で、元の曲がミックスされたフル長です。

• Claude Fable 5 · $25
• GPT-5.6 Sol · $25
• Claude Fable 5 · $100
• GPT-5.6 Sol · $100

数値

4回の実行はすべて自律的に完了し（ステップ制限や時間制限に達したものはなし）、すべてが元の曲をミックスした有効なフル長ビデオを生成しました。

| モデル | 予算 | 所要時間 | ステップ数 | ツール呼び出し | 生成コスト | 解像度 | |--------|------|----------|------------|----------------|------------|--------| | Fable 5 · $25 | $25 | 39m10s | 250 | 541 | $24.30 | 1280x720 | | Sol · $25 | $25 | 42m52s | 386 | 14610 | $23.18 | 1280x720 | | Sol · $100 | $100 | 49m39s | 340 | 702 | $36.57 | 1280x720 | | Fable 5 · $100 | $100 | 38m56s | 280 | 800 | $48.60 | 1920x1080 |

「生成コスト」はFALの従量料金で、予算の上限です。25ドルの予算では両モデルともほぼ使い切りました。100ドルではSolが$36.57、Fableが$48.60を費やし、より多くの予算がより多くの映像に変換されました。これにはモデル自体の実行コストは含まれておらず、後で追加します。

各モデルが使用したもの

ツールを自由に選択できる状況で、モデルは分岐しました。4回中3回の実行が純粋なテキストからビデオへの変換でした。唯一GPT-5.6 Solの25ドル実行が画像からビデオへのパイプライン（まず静止画を生成し、次にそれをアニメーション化）を使用しました。GPT-5.6 Solの100ドル実行は単一の実行で3つの異なるビデオモデルを混合して使用しました。

| 実行 | 画像モデル | ビデオモデル | アプローチ | |------|-------------|---------------|------------| | Fable 5 · $25 | なし | Wan 2.5 t2v ($0.05/秒) | テキスト→ビデオのみ | | Sol · $25 | FLUX schnell ($0.003/画像) | Wan 2.2-5b i2v ($0.10/秒) | キーフレーム、その後画像→ビデオ | | Sol · $100 | なし | Wan 2.5 ($0.05/秒), Veo 3.1 Lite ($0.10/秒), Hailuo 2.3 Standard ($0.28/ビデオ) | テキスト→ビデオ、混合モデル | | Fable 5 · $100 | なし | Seedance 1.0 Pro t2v (~$0.12/秒 at 1080p) | テキスト→ビデオのみ |

価格はFALの表示レートで、特に記載がない限り出力ビデオ1秒あたりで表示。Hailuo 2.3 Standardはビデオあたり（約$0.28/6秒クリップ）、Seedance 1.0 Proはトークン価格（約$0.62/5秒1080pクリップ、上記は実効秒あたりレート）。実行ごとに生成された個別クリップ数は46～80。

ツール使用状況

各実行のツール呼び出しの使われ方（試行回数、失敗した生成呼び出しを含む）：

• Claude Fable 5 · $25
• GPT-5.6 Sol · $25
• Claude Fable 5 · $100
• GPT-5.6 Sol · $100

各実行の完全なトランスクリプト（すべての計画、ツール呼び出し、コマンド）はこちら：[Fable 5 · $25], [Sol · $25], [Sol · $100], [Fable 5 · $100]。

途中のエラー

「失敗呼び出し」はエラーを返した生成リクエスト（ほとんどがプロバイダへの一時的なネットワーク障害）。課金はされませんが、モデルは再試行のためにステップを消費します。

トークン使用量

| 実行 | 入力トークン | 出力トークン | 推論 | キャッシュ入力 | |------|--------------|---------------|------|----------------| | Fable 5 · $25 | 1,476,900 | 44,341 | n/a | 0 | | Sol · $25 | 2,956,270 | 33,220 | 9,656 | 2,558,029 | | Sol · $100 | 2,097,572 | 31,715 | 12,330 | 1,819,050 | | Fable 5 · $100 | 2,264,610 | 48,029 | n/a | 0 |

実行ごとの総コスト

予算は生成（FAL）コストのみを計上します。Claude Fable 5（入力100万トークンあたり$10、出力100万トークンあたり$50）とGPT-5.6 Sol（入力100万トークンあたり$5、出力100万トークンあたり$30）のLLMトークンコストを追加すると、各実行の総コストが得られます。

| 実行 | 生成コスト | LLMトークンコスト | 総コスト | |------|------------|-------------------|----------| | Fable 5 · $25 | $24.30 | $16.99 | $41.29 | | Sol · $25 | $23.18 | $4.27 | $27.45 | | Sol · $100 | $36.57 | $3.25 | $39.82 | | Fable 5 · $100 | $48.60 | $25.05 | $73.65 |

Claude Fable 5の場合、トークンだけでも$16.99～$25.05かかり、各実行の総コストの約30～40%を占めました。GPT-5.6 Solのトークンコストは同程度のトークン量にもかかわらず約$3～4に留まりました。

方法に関する注記

4回の実行とも同じ入力：曲、短いテキスト説明、タイムスタンプ付き歌詞トランスクリプト。各モデルはFAL上の独自の生成モデルを選択し、独自のffmpeg編集を行いました。

ウォールクロック時間には、モデル自身の再試行とプロバイダキューでの待機時間が含まれます。

生成コストはモデルごとの価格表に基づく最善の見積もりです。

自分で試す

アリーナはオープンソースです：github.com/hershalb/music-video-arena。自分の曲と予算を指定し、比較したいモデルを自由に交換して、何が構築されるか見てみてください。IssueやPRを歓迎します。セットアップに関するフィードバックをお待ちしています。

私たちの見解

どのミュージックビデオも素晴らしいものではありませんでしたが、モデルがどのようにそこに到達したかを見るのは非常に興味深く、フロンティアモデルにまだ明らかなギャップが存在することも示しています。いくつかのポイント：

• キャラクターとストーリーの一貫性は4回すべての実行で課題でした。繰り返し登場するキャラクターがショット間で変化し、どれも開始から終了まで一貫したストーリーラインを保持していません。
• モデルは歌詞を非常に文字通りに解釈します。「Make a dragon wanna retire, man」で実際のドラゴンが画面に表示されます。最初の数ショットは面白いですが、しばらくすると少し奇妙になります。
• テンポマッチングは弱いです。カットはビートに合わせられます（すべてffmpegのビート検出を実行しました）が、クリップ内部の動き、ダンス、カメラの動きが曲のテンポに合うことはほとんどなく、しばしば少しずれているように感じます。たとえば「gotta kiss myself I'm so pretty」というラインでは、主人公があまりにもゆっくりとキスする動作をします。
• GPT-5.6 Solの$25実行は最も独創的な編集者でした。テキストのオーバーレイや静止画像のアニメーション化、ビデオエフェクトなど、他の実行では試みられなかったテクニックを使用しました。残りはほとんど生成クリップを単につなぎ合わせただけでした。GPT-5.6 Solの$100実行も、Fableのように一つのモデルに固執せず、複数のビデオモデルを試しました。
• 誰も編集を本当に反復しませんでした。クリップが存在すると、モデルは連結してミックスするだけで、再カットやエフェクト追加のために戻ることはほとんどなく、自分のクリップが良いかどうかを真剣に精査することもありませんでした。GPT-5.6 Solの$100実行では真に低品質なAIクリップが出荷されましたが、Claude Fable 5はたまたまより一貫性のある出力を持つモデルを選びました。これの一部はおそらくモデルの限界ですが、自己レビューの欠如は注目に値します。
• どちらのモデルもReplicateには触れませんでした。FALとReplicateの両方のキーが利用可能でしたが、4回の実行すべてがFALのみを使用しました。
• Claude Fable 5はより高価な選択肢でした。GPT-5.6 Solよりも速く完了したにもかかわらず、実行ごとのコストが高く（全体で最高$73.65）、主観的にはFableの$100ビデオをやや好みましたが、どれも私たちを圧倒するものではありませんでした。
• $100はおそらく多すぎる予算でした。どちらのモデルも上限近くまで使い切ろうとせず、ステップ数を控えめに保ちました。その余裕があれば、例えば一貫性のあるキャラクター画像を事前に生成し、それらからアニメーションを作成することもできたはずですが、どちらも選択しませんでした。

モデルがより賢くなるにつれて、より主観的/スタイル的なタスクで改善されるかどうかを注視していきますが、現時点ではまだ改善の余地が大きくあります。

自分で試す

ここで言及されたすべてのモデルは、TryAIで1つのアカウント、従量課金制、サブスクリプションなしで利用できます。

無料で始める