AI News HubLIVE
站内改写2 分鐘閱讀

我的AI技能編輯了這段影片,而這段影片正解釋我的AI技能 – Arcturus Labs

作者利用AI工具Cursor和AssemblyAI,透過元過程建立了一個自動影片編輯工具,併成功用該工具編輯了介紹其工作原理的演示影片。文章詳細描述了從靈感、實現到最終成果的全過程,並分享了相關程式碼倉庫。

來源Hacker News AI作者: JohnBerryman

在人工智慧的奇妙時代,我剛剛建立了一個自動影片編輯工具——而本文末尾的演示影片正是由這個工具編輯的。以下是我如何做到的。

這一切始於一個影片:《使用Hamel Hussein和Shaw Talebi構建AI代理來編輯你的影片》。他們描述了AI輔助影片編輯的流程,我深受啟發,決定嘗試用極其“元”的方式復現它。我沒有自己動手,而是讓我的Cursor代理觀看他們的影片,並弄清楚如何在本地上製作出同樣的東西。

代理首先使用yt-dlp下載了影片轉錄。一旦獲得了轉錄,我讓它閱讀並設定一個倉庫,儘可能復現該過程。我還指示它使用create-skill技能將所有內容打包成一個代理技能。(如今一切都如此“元”!)它執行了幾分鐘,完成後,我唯一需要做的就是設定一個AssemblyAI API金鑰。

AssemblyAI是一個很棒的發現。它是一個語音轉文字服務,關鍵的是,它能保留你的錯誤——嗯、啊等——併為每個單詞提供精確的開始和結束時間戳。這種時間戳是實現自動剪輯的關鍵。它也很容易試用:註冊即可獲得約185小時的免費預錄製轉錄。我當然註冊了!

我上傳了一段自己對著攝像頭說話的影片,讓它完成整個過程——轉錄、剪掉沉默、去除嗯和啊——然後它成功了……大部分。問題是在剪下點處每個單詞的末尾被截斷了。所以,影片無法直接使用,但令我驚訝的是,它實際效果已經很好了。

第二次嘗試時,我給了它同樣的任務,但標記了截斷問題,並要求它找出問題所在。它提出了一些想法並詢問我想怎麼辦。我說“按你認為最好的方式去做。”🤣(這本來只是一個副專案,所以程式碼質量不是我最大的擔憂。)它又執行了大約30秒,我把下一個影片放進去,結果還不錯——實際上對於大約五分鐘的總投入來說相當令人印象深刻。

這就來到了這裡。我的第三次嘗試是演示影片——我在OBS中對著攝像頭解釋如何構建編輯套件。(再次,我並不真正瞭解OBS,但向AI詢問了一些指導,它讓我足夠好地假裝會用了。)

自動編輯的演示影片(上方)是解釋該工具如何工作的,由工具本身編輯。下方是編輯前的原始錄製。我照著稿子讀,停頓很多。差異非常顯著。

如果你想自己嘗試,技能在這個倉庫中。但請注意:它很粗糙。預設情況下,技能匯出到Final Cut Pro,不過如果要求它直接將片段拼接在一起,它也會這樣做。另外,它為每個影片專案管理檔案的方式有點奇特。但核心思想是可行的,這才是重點。拿去用吧,玩轉它,把它變成你自己的——複製品的複製品——就像我從Shaw Talebi的方法中創造出我自己的方法一樣。

順便說一句,這篇文章是從上面編輯過的演示影片的轉錄中半自動生成的。我想我也會再寫一篇遞迴的部落格文章來介紹這種方法!