100美元AI音乐视频：Claude Fable 5 vs GPT-5.6 Sol

我们构建了一个小型智能体框架，其任务只有一个：将一首歌、一个严格的美元预算和一套工具交给模型，然后放手让它自主制作完整的音乐视频。模型自行研究现有的视频生成模型、生成片段、观看自己的素材、使用ffmpeg进行编辑，并最终合成完整的视频。

在上一次对比测试中，有读者希望看到模型在工具使用上的实际差异，因此我们给予了前沿模型一个开放式、长期的任务，让每个模型自主决定研究什么、生成什么以及如何编辑。我们记录了每一次工具调用，以便精确了解每个模型的工作方式（完整记录见下方）。

我们测试了两个模型：Claude Fable 5和GPT-5.6 Sol，每个模型在25美元和100美元两个预算下各运行一次，共四次运行。每次运行使用同一首歌（Bruno Mars和Mark Ronson的《Uptown Funk》）、一段简短的文字描述以及一份带时间戳的歌词转录。

设置

每个模型运行一个自主工具调用循环，包含六个工具：

• plan：思考工具（无成本，无行动）。
• web_search：研究生成模型及其API，并获取音乐视频相关信息（如需要）。
• get_budget：检查剩余预算。
• generate_image和generate_video：仅有的两个消耗预算的工具。模型可以选择任何FAL或Replicate模型并传递自己的参数。
• run_command：本地shell，带有ffmpeg/ffprobe，用于分析音频、剪切和拼接片段，以及合成最终视频。

一旦预算耗尽，付费生成将被拒绝，但模型可以继续编辑。所有模型消息、工具调用、费用和错误均被记录。整个框架是开源的，地址为github.com/hershalb/music-video-arena，你可以自行运行。

四个视频

以下每个片段是模型最终自行组装的output.mp4，全长并混入了原歌曲。

• Claude Fable 5 · $25
• GPT-5.6 Sol · $25
• Claude Fable 5 · $100
• GPT-5.6 Sol · $100

数据

四次运行均自行完成（未达到步骤或时间限制），并全部生成了有效的全长视频，且混入了原歌曲。

| 模型 | 预算 | 耗时 | 步骤 | 工具调用 | 生成花费 | 分辨率 | |------|------|------|------|----------|----------|--------| | Fable 5 · $25 | $25 | 39m10s | 250 | 541 | $24.30 | 1280x720 | | Sol · $25 | $25 | 42m52s | 386 | 14610 | $23.18 | 1280x720 | | Sol · $100 | $100 | 49m39s | 340 | 702 | $36.57 | 1280x720 | | Fable 5 · $100 | $100 | 38m56s | 280 | 800 | $48.60 | 1920x1080 |

“生成花费”是FAL的计量费用，即预算上限。在$25预算下，两个模型几乎用尽预算。在$100预算下，它们分别花费了$36.57（Sol）和$48.60（Fable），因此更多预算确实转化为了更多素材。这不包括运行模型本身的成本，我们将在下文补充。

每个模型使用的工具和模型

在自由选择工具的情况下，模型出现了分歧。四次运行中有三次纯文本转视频。只有GPT-5.6 Sol在$25下使用了图像转视频流程（先生成静态图像，然后将其动画化）。GPT-5.6 Sol在$100下混合使用了三个不同的视频模型。

| 运行 | 图像模型 | 视频模型 | 方法 | |------|----------|----------|------| | Fable 5 · $25 | 无 | Wan 2.5 t2v ($0.05/s) | 仅文本转视频 | | Sol · $25 | FLUX schnell ($0.003/图) | Wan 2.2-5b i2v ($0.10/s) | 关键帧，然后图像转视频 | | Sol · $100 | 无 | Wan 2.5 ($0.05/s), Veo 3.1 Lite ($0.10/s), Hailuo 2.3 Standard ($0.28/视频) | 文本转视频，混合模型 | | Fable 5 · $100 | 无 | Seedance 1.0 Pro t2v (~$0.12/s at 1080p) | 仅文本转视频 |

价格为FAL公布的费率，除非另有说明，否则按输出视频每秒显示。Hailuo 2.3 Standard按每个视频定价（约$0.28/6秒片段），Seedance 1.0 Pro按令牌定价（约$0.62/5秒1080p片段，上面显示为其有效每秒费率）。每次运行生成的独特片段数量从46到80不等。

工具使用

每次运行的工具调用分布（包括尝试次数，含失败生成调用）：

• Claude Fable 5 · $25
• GPT-5.6 Sol · $25
• Claude Fable 5 · $100
• GPT-5.6 Sol · $100

每次运行的完整记录，包括所有计划、工具调用和命令，可在此处查看：[Fable 5 · $25], [Sol · $25], [Sol · $100], [Fable 5 · $100]。

过程中的错误

“失败调用”是指返回错误的生成请求（主要是提供商的临时网络故障）。这些请求不会产生费用，但模型会花费步骤重试。

令牌使用

| 运行 | 输入令牌 | 输出令牌 | 推理 | 缓存输入 | |------|----------|----------|------|----------| | Fable 5 · $25 | 1,476,900 | 44,341 | n/a | 0 | | Sol · $25 | 2,956,270 | 33,220 | 9,656 | 2,558,029 | | Sol · $100 | 2,097,572 | 31,715 | 12,330 | 1,819,050 | | Fable 5 · $100 | 2,264,610 | 48,029 | n/a | 0 |

每次运行的总成本

预算仅计量生成（FAL）花费。加上LLM令牌成本（Claude Fable 5：$10/百万输入，$50/百万输出；GPT-5.6 Sol：$5/百万输入，$30/百万输出），得到每次运行的总成本。

| 运行 | 生成花费 | LLM令牌成本 | 总成本 | |------|----------|-------------|--------| | Fable 5 · $25 | $24.30 | $16.99 | $41.29 | | Sol · $25 | $23.18 | $4.27 | $27.45 | | Sol · $100 | $36.57 | $3.25 | $39.82 | | Fable 5 · $100 | $48.60 | $25.05 | $73.65 |

对于Claude Fable 5，仅令牌成本就达$16.99至$25.05，约占每次运行总成本的30-40%。GPT-5.6 Sol的令牌成本在相似的令牌量下保持在$3-4附近。

方法说明

四次运行的输入相同：歌曲、简短文字描述和带时间戳的歌词转录。每个模型自行选择FAL上的生成模型并进行ffmpeg编辑。

墙钟时间包括模型自身的重试以及等待提供商队列的时间。

生成花费是基于每个模型价格表的最佳估算。

自行尝试

该竞技场是开源的：github.com/hershalb/music-video-arena。你可以指向自己的歌曲和预算，随意替换想比较的模型，看看它们能构建什么。欢迎提交问题和PR，我们期待对设置的反馈。

我们的看法

这些音乐视频都不出色，但观察模型如何完成任务相当有趣，这也清楚展示了前沿模型仍存在的差距。几点观察：

• 角色和故事一致性对所有四次运行都是一个挑战。重复出现的角色在镜头间漂移，没有一个视频从头到尾保持连贯的故事情节。
• 模型对歌词的理解非常字面化。“Make a dragon wanna retire, man”会导致屏幕上出现一条真正的龙。起初几个镜头有趣，但久了就变得有点奇怪。
• 节奏匹配薄弱。剪辑点落在节拍上（他们都运行了ffmpeg节拍检测），但片段内部的运动、舞蹈、摄像机移动很少与歌曲节奏同步，因此经常感觉有些不协调。例如“gotta kiss myself I'm so pretty”这句，主角做出亲吻动作的速度过慢。
• GPT-5.6 Sol在$25时是最具创造力的编辑。它叠加了文本和动画静态图像，并使用了视频特效，其他运行均未尝试这些技巧。其余运行大多只是拼接生成的片段。GPT-5.6 Sol在$100时也尝试了多个视频模型，而不像Fable那样只使用一个。
• 没有人真正对编辑进行迭代。一旦片段存在，模型就进行拼接和混音，很少返回重新剪辑或添加效果，也没有认真检查自己的片段以确保质量。GPT-5.6 Sol的$100运行输出了一些真正低质量的AI片段，而Claude Fable 5恰巧选择了输出更连贯的模型。部分原因可能是模型限制，但缺乏自我审查值得注意。
• 两个模型均未使用Replicate。尽管FAL和Replicate的密钥都可用，但四次运行均只使用了FAL。
• Claude Fable 5是更昂贵的选择。每次运行成本更高（总成本最高达$73.65），尽管完成速度比GPT-5.6 Sol更快。主观上，我们略微偏爱Fable的$100视频，但没有任何一个令人印象深刻。
• $100预算可能过多。两个模型都不愿接近预算上限，并且都保持了适中的步骤数。有了这样的余量，它们本可以先生成一致的角色图像，然后基于这些图像进行动画制作，但两个模型都没有选择这样做。

我们将观察模型在更主观/风格化任务上能否随着智能提升而改进，但目前仍有很大的改进空间。

自行尝试

这里提到的每个模型都可以在TryAI上通过一个账户使用，按需付费，无需订阅。

立即免费开始