AI News HubLIVE
站内改写2 分钟阅读

我的AI技能编辑了这段视频,而这段视频正解释我的AI技能 – Arcturus Labs

作者利用AI工具Cursor和AssemblyAI,通过元过程创建了一个自动视频编辑工具,并成功用该工具编辑了介绍其工作原理的演示视频。文章详细描述了从灵感、实现到最终成果的全过程,并分享了相关代码仓库。

来源Hacker News AI作者: JohnBerryman

在人工智能的奇妙时代,我刚刚创建了一个自动视频编辑工具——而本文末尾的演示视频正是由这个工具编辑的。以下是我如何做到的。

这一切始于一个视频:《使用Hamel Hussein和Shaw Talebi构建AI代理来编辑你的视频》。他们描述了AI辅助视频编辑的流程,我深受启发,决定尝试用极其“元”的方式复现它。我没有自己动手,而是让我的Cursor代理观看他们的视频,并弄清楚如何在本地上制作出同样的东西。

代理首先使用yt-dlp下载了视频转录。一旦获得了转录,我让它阅读并设置一个仓库,尽可能复现该过程。我还指示它使用create-skill技能将所有内容打包成一个代理技能。(如今一切都如此“元”!)它运行了几分钟,完成后,我唯一需要做的就是设置一个AssemblyAI API密钥。

AssemblyAI是一个很棒的发现。它是一个语音转文字服务,关键的是,它能保留你的错误——嗯、啊等——并为每个单词提供精确的开始和结束时间戳。这种时间戳是实现自动剪辑的关键。它也很容易试用:注册即可获得约185小时的免费预录制转录。我当然注册了!

我上传了一段自己对着摄像头说话的视频,让它完成整个过程——转录、剪掉沉默、去除嗯和啊——然后它成功了……大部分。问题是在剪切点处每个单词的末尾被截断了。所以,视频无法直接使用,但令我惊讶的是,它实际效果已经很好了。

第二次尝试时,我给了它同样的任务,但标记了截断问题,并要求它找出问题所在。它提出了一些想法并询问我想怎么办。我说“按你认为最好的方式去做。”🤣(这本来只是一个副项目,所以代码质量不是我最大的担忧。)它又运行了大约30秒,我把下一个视频放进去,结果还不错——实际上对于大约五分钟的总投入来说相当令人印象深刻。

这就来到了这里。我的第三次尝试是演示视频——我在OBS中对着摄像头解释如何构建编辑套件。(再次,我并不真正了解OBS,但向AI询问了一些指导,它让我足够好地假装会用了。)

自动编辑的演示视频(上方)是解释该工具如何工作的,由工具本身编辑。下方是编辑前的原始录制。我照着稿子读,停顿很多。差异非常显著。

如果你想自己尝试,技能在这个仓库中。但请注意:它很粗糙。默认情况下,技能导出到Final Cut Pro,不过如果要求它直接将片段拼接在一起,它也会这样做。另外,它为每个视频项目管理文件的方式有点奇特。但核心思想是可行的,这才是重点。拿去用吧,玩转它,把它变成你自己的——复制品的复制品——就像我从Shaw Talebi的方法中创造出我自己的方法一样。

顺便说一句,这篇文章是从上面编辑过的演示视频的转录中半自动生成的。我想我也会再写一篇递归的博客文章来介绍这种方法!