100美元AI音樂視頻：Claude Fable 5 vs GPT-5.6 Sol

我們構建了一個小型智能體框架，其任務只有一個：將一首歌、一個嚴格的美元預算和一套工具交給模型，然後放手讓它自主製作完整的音樂視頻。模型自行研究現有的視頻生成模型、生成片段、觀看自己的素材、使用ffmpeg進行編輯，並最終合成完整的視頻。

在上一次對比測試中，有讀者希望看到模型在工具使用上的實際差異，因此我們給予了前沿模型一個開放式、長期的任務，讓每個模型自主決定研究什麼、生成什麼以及如何編輯。我們記錄了每一次工具調用，以便精確瞭解每個模型的工作方式（完整記錄見下方）。

我們測試了兩個模型：Claude Fable 5和GPT-5.6 Sol，每個模型在25美元和100美元兩個預算下各運行一次，共四次運行。每次運行使用同一首歌（Bruno Mars和Mark Ronson的《Uptown Funk》）、一段簡短的文字描述以及一份帶時間戳的歌詞轉錄。

設置

每個模型運行一個自主工具調用循環，包含六個工具：

• plan：思考工具（無成本，無行動）。
• web_search：研究生成模型及其API，並獲取音樂視頻相關信息（如需要）。
• get_budget：檢查剩餘預算。
• generate_image和generate_video：僅有的兩個消耗預算的工具。模型可以選擇任何FAL或Replicate模型並傳遞自己的參數。
• run_command：本地shell，帶有ffmpeg/ffprobe，用於分析音頻、剪切和拼接片段，以及合成最終視頻。

一旦預算耗盡，付費生成將被拒絕，但模型可以繼續編輯。所有模型消息、工具調用、費用和錯誤均被記錄。整個框架是開源的，地址為github.com/hershalb/music-video-arena，你可以自行運行。

四個視頻

以下每個片段是模型最終自行組裝的output.mp4，全長並混入了原歌曲。

• Claude Fable 5 · $25
• GPT-5.6 Sol · $25
• Claude Fable 5 · $100
• GPT-5.6 Sol · $100

數據

四次運行均自行完成（未達到步驟或時間限制），並全部生成了有效的全長視頻，且混入了原歌曲。

| 模型 | 預算 | 耗時 | 步驟 | 工具調用 | 生成花費 | 分辨率 | |------|------|------|------|----------|----------|--------| | Fable 5 · $25 | $25 | 39m10s | 250 | 541 | $24.30 | 1280x720 | | Sol · $25 | $25 | 42m52s | 386 | 14610 | $23.18 | 1280x720 | | Sol · $100 | $100 | 49m39s | 340 | 702 | $36.57 | 1280x720 | | Fable 5 · $100 | $100 | 38m56s | 280 | 800 | $48.60 | 1920x1080 |

“生成花費”是FAL的計量費用，即預算上限。在$25預算下，兩個模型幾乎用盡預算。在$100預算下，它們分別花費了$36.57（Sol）和$48.60（Fable），因此更多預算確實轉化為了更多素材。這不包括運行模型本身的成本，我們將在下文補充。

每個模型使用的工具和模型

在自由選擇工具的情況下，模型出現了分歧。四次運行中有三次純文本轉視頻。只有GPT-5.6 Sol在$25下使用了圖像轉視頻流程（先生成靜態圖像，然後將其動畫化）。GPT-5.6 Sol在$100下混合使用了三個不同的視頻模型。

| 運行 | 圖像模型 | 視頻模型 | 方法 | |------|----------|----------|------| | Fable 5 · $25 | 無 | Wan 2.5 t2v ($0.05/s) | 僅文本轉視頻 | | Sol · $25 | FLUX schnell ($0.003/圖) | Wan 2.2-5b i2v ($0.10/s) | 關鍵幀，然後圖像轉視頻 | | Sol · $100 | 無 | Wan 2.5 ($0.05/s), Veo 3.1 Lite ($0.10/s), Hailuo 2.3 Standard ($0.28/視頻) | 文本轉視頻，混合模型 | | Fable 5 · $100 | 無 | Seedance 1.0 Pro t2v (~$0.12/s at 1080p) | 僅文本轉視頻 |

價格為FAL公佈的費率，除非另有説明，否則按輸出視頻每秒顯示。Hailuo 2.3 Standard按每個視頻定價（約$0.28/6秒片段），Seedance 1.0 Pro按令牌定價（約$0.62/5秒1080p片段，上面顯示為其有效每秒費率）。每次運行生成的獨特片段數量從46到80不等。

工具使用

每次運行的工具調用分佈（包括嘗試次數，含失敗生成調用）：

• Claude Fable 5 · $25
• GPT-5.6 Sol · $25
• Claude Fable 5 · $100
• GPT-5.6 Sol · $100

每次運行的完整記錄，包括所有計劃、工具調用和命令，可在此處查看：[Fable 5 · $25], [Sol · $25], [Sol · $100], [Fable 5 · $100]。

過程中的錯誤

“失敗調用”是指返回錯誤的生成請求（主要是提供商的臨時網絡故障）。這些請求不會產生費用，但模型會花費步驟重試。

令牌使用

| 運行 | 輸入令牌 | 輸出令牌 | 推理 | 緩存輸入 | |------|----------|----------|------|----------| | Fable 5 · $25 | 1,476,900 | 44,341 | n/a | 0 | | Sol · $25 | 2,956,270 | 33,220 | 9,656 | 2,558,029 | | Sol · $100 | 2,097,572 | 31,715 | 12,330 | 1,819,050 | | Fable 5 · $100 | 2,264,610 | 48,029 | n/a | 0 |

每次運行的總成本

預算僅計量生成（FAL）花費。加上LLM令牌成本（Claude Fable 5：$10/百萬輸入，$50/百萬輸出；GPT-5.6 Sol：$5/百萬輸入，$30/百萬輸出），得到每次運行的總成本。

| 運行 | 生成花費 | LLM令牌成本 | 總成本 | |------|----------|-------------|--------| | Fable 5 · $25 | $24.30 | $16.99 | $41.29 | | Sol · $25 | $23.18 | $4.27 | $27.45 | | Sol · $100 | $36.57 | $3.25 | $39.82 | | Fable 5 · $100 | $48.60 | $25.05 | $73.65 |

對於Claude Fable 5，僅令牌成本就達$16.99至$25.05，約佔每次運行總成本的30-40%。GPT-5.6 Sol的令牌成本在相似的令牌量下保持在$3-4附近。

方法説明

四次運行的輸入相同：歌曲、簡短文字描述和帶時間戳的歌詞轉錄。每個模型自行選擇FAL上的生成模型並進行ffmpeg編輯。

牆鍾時間包括模型自身的重試以及等待提供商隊列的時間。

生成花費是基於每個模型價格表的最佳估算。

自行嘗試

該競技場是開源的：github.com/hershalb/music-video-arena。你可以指向自己的歌曲和預算，隨意替換想比較的模型，看看它們能構建什麼。歡迎提交問題和PR，我們期待對設置的反饋。

我們的看法

這些音樂視頻都不出色，但觀察模型如何完成任務相當有趣，這也清楚展示了前沿模型仍存在的差距。幾點觀察：

• 角色和故事一致性對所有四次運行都是一個挑戰。重複出現的角色在鏡頭間漂移，沒有一個視頻從頭到尾保持連貫的故事情節。
• 模型對歌詞的理解非常字面化。“Make a dragon wanna retire, man”會導致屏幕上出現一條真正的龍。起初幾個鏡頭有趣，但久了就變得有點奇怪。
• 節奏匹配薄弱。剪輯點落在節拍上（他們都運行了ffmpeg節拍檢測），但片段內部的運動、舞蹈、攝像機移動很少與歌曲節奏同步，因此經常感覺有些不協調。例如“gotta kiss myself I'm so pretty”這句，主角做出親吻動作的速度過慢。
• GPT-5.6 Sol在$25時是最具創造力的編輯。它疊加了文本和動畫靜態圖像，並使用了視頻特效，其他運行均未嘗試這些技巧。其餘運行大多隻是拼接生成的片段。GPT-5.6 Sol在$100時也嘗試了多個視頻模型，而不像Fable那樣只使用一個。
• 沒有人真正對編輯進行迭代。一旦片段存在，模型就進行拼接和混音，很少返回重新剪輯或添加效果，也沒有認真檢查自己的片段以確保質量。GPT-5.6 Sol的$100運行輸出了一些真正低質量的AI片段，而Claude Fable 5恰巧選擇了輸出更連貫的模型。部分原因可能是模型限制，但缺乏自我審查值得注意。
• 兩個模型均未使用Replicate。儘管FAL和Replicate的密鑰都可用，但四次運行均只使用了FAL。
• Claude Fable 5是更昂貴的選擇。每次運行成本更高（總成本最高達$73.65），儘管完成速度比GPT-5.6 Sol更快。主觀上，我們略微偏愛Fable的$100視頻，但沒有任何一個令人印象深刻。
• $100預算可能過多。兩個模型都不願接近預算上限，並且都保持了適中的步驟數。有了這樣的餘量，它們本可以先生成一致的角色圖像，然後基於這些圖像進行動畫製作，但兩個模型都沒有選擇這樣做。

我們將觀察模型在更主觀/風格化任務上能否隨着智能提升而改進，但目前仍有很大的改進空間。

自行嘗試

這裏提到的每個模型都可以在TryAI上通過一個賬户使用，按需付費，無需訂閲。

立即免費開始