本教程詳細展示瞭如何構建一個可運行的多智能體系統，以重構VideoAgent工作流，專注於視頻理解、檢索、編輯和再造的核心智能體管道。首先，我們配置一個輕量級環境，無需API密鑰即可運行。我們定義了意圖解析器、智能體庫、工具路由器、圖規劃器以及一個文本梯度優化器，用於修復執行圖中缺失的依賴關係。此外，我們將這些規劃組件連接到實際的視頻處理工具，包括FFmpeg、基於Whisper的轉錄、場景檢測、關鍵幀採樣、字幕生成、跨模態索引、檢索、裁剪、節拍同步編輯以及最終渲染。通過本教程，我們將獲得一個完整的視頻多智能體系統，能夠回答關於視頻的問題、總結視頻內容、生成新聞風格的概述，並根據自然語言指令生成編輯後的視頻。
在配置階段，我們首先設置VideoAgent運行時環境，包括可選的LLM後端、工作目錄、包安裝流程和輕量級依賴回退機制。我們創建了一個共享輔助層，用於處理shell命令、pip安裝、文件路徑和環境檢測，確保筆記本在Colab或本地環境下都能順暢運行。我們還定義了一個統一的LLM封裝器，支持OpenAI、DeepSeek、Anthropic和Gemini，並在沒有API密鑰時安全回退到確定性執行。
接下來，我們定義意圖集、智能體庫和圖規劃機制。意圖集包括音頻提取、轉錄、節奏檢測、場景檢測、關鍵幀採樣、字幕生成、跨模態索引、鏡頭規劃、視覺檢索、裁剪、摘要生成、問答、新聞概述、節拍同步編輯、拼接和渲染等能力。每個智能體都有清晰的描述、輸入和輸出，以及對應的能力標籤。我們實現了意圖解析器，利用LLM或確定性規則將用户指令分解為所需的能力集合。然後，通過工具路由器選擇滿足這些能力的智能體，並使用圖規劃器構建執行圖，其中每個智能體的輸入由其他智能體的輸出提供。我們還提供了一個可選的LLM驅動的圖規劃器，可以動態設計智能體圖。
最後，我們展示瞭如何通過文本梯度優化器糾正執行圖中的缺失依賴，確保計劃的可執行性。整個系統使得從自然語言指令到複雜視頻編輯任務的全自動化成為可能，極大地降低了視頻處理的門檻。