本教程詳細展示瞭如何構建一個可執行的多智慧體系統，以重構VideoAgent工作流，專注於影片理解、檢索、編輯和再造的核心智慧體管道。首先，我們配置一個輕量級環境，無需API金鑰即可執行。我們定義了意圖解析器、智慧體庫、工具路由器、圖規劃器以及一個文本梯度最佳化器，用於修復執行圖中缺失的依賴關係。此外，我們將這些規劃元件連線到實際的影片處理工具，包括FFmpeg、基於Whisper的轉錄、場景檢測、關鍵幀取樣、字幕生成、跨模態索引、檢索、裁剪、節拍同步編輯以及最終渲染。透過本教程，我們將獲得一個完整的影片多智慧體系統，能夠回答關於影片的問題、總結影片內容、生成新聞風格的概述，並根據自然語言指令生成編輯後的影片。
在配置階段，我們首先設定VideoAgent執行時環境，包括可選的LLM後端、工作目錄、包安裝流程和輕量級依賴回退機制。我們建立了一個共享輔助層，用於處理shell命令、pip安裝、檔案路徑和環境檢測，確保筆記本在Colab或本地環境下都能順暢執行。我們還定義了一個統一的LLM封裝器，支援OpenAI、DeepSeek、Anthropic和Gemini，並在沒有API金鑰時安全回退到確定性執行。
接下來，我們定義意圖集、智慧體庫和圖規劃機制。意圖集包括音訊提取、轉錄、節奏檢測、場景檢測、關鍵幀取樣、字幕生成、跨模態索引、鏡頭規劃、視覺檢索、裁剪、摘要生成、問答、新聞概述、節拍同步編輯、拼接和渲染等能力。每個智慧體都有清晰的描述、輸入和輸出，以及對應的能力標籤。我們實現了意圖解析器，利用LLM或確定性規則將使用者指令分解為所需的能力集合。然後，透過工具路由器選擇滿足這些能力的智慧體，並使用圖規劃器構建執行圖，其中每個智慧體的輸入由其他智慧體的輸出提供。我們還提供了一個可選的LLM驅動的圖規劃器，可以動態設計智慧體圖。
最後，我們展示瞭如何透過文本梯度最佳化器糾正執行圖中的缺失依賴，確保計劃的可執行性。整個系統使得從自然語言指令到複雜影片編輯任務的全自動化成為可能，極大地降低了影片處理的門檻。