錄製與回放：只需演示一次，即可教會AI代理桌面工作流

VideoDB團隊釋出了開源專案“Record & Replay”，這是一個基於MCP（Model Context Protocol）的伺服器工具，能夠記錄人類在桌面上的操作流程，並將其編譯成結構化的技能檔案（SKILL.md），供AI代理後續使用。該專案旨在透過“一次演示，多次複用”的方式，簡化AI代理的培訓過程。

Record & Replay的核心工作流程分為三個步驟：記錄、編譯和使用。在記錄階段，工具透過原生輔助功能介面（如Windows的UIA、macOS的AX、Linux的AT-SPI）捕獲使用者介面事件，同時可選地透過VideoDB SDK錄製螢幕影片，為後續編譯提供視覺參考。編譯階段則由LLM（大型語言模型）將事件日誌和場景描述轉換為標準化的SKILL.json和人類與代理均可讀的SKILL.md檔案。最後，伺服器將生成的技能檔案安裝到代理的全域性技能目錄中，使代理能夠在未來自動執行該工作流。

安裝Record & Replay需要Python 3.10及以上版本、uv包管理器以及有效的VideoDB API金鑰。使用者需克隆倉庫，安裝依賴，設定環境變數，並在MCP客戶端（如Claude Desktop或VS Code）中配置伺服器。對於macOS，還需賦予終端螢幕錄製、輔助功能和輸入監控許可權。

使用上，Record & Replay採用“人機協作”（Human-in-the-loop）模式。代理啟動錄製後通知使用者，使用者手動執行工作流，完成後返回客戶端並告知代理停止錄製。代理隨後呼叫編譯工具生成技能檔案。工具支援“前導時間”（lead_in_seconds）和“尾部修剪”（trim_end_seconds）引數，以便使用者有足夠時間切換應用，同時去除返回操作帶來的冗餘事件。如果螢幕錄製不可用，系統會自動降級為僅事件記錄模式。

Record & Replay的主要特性包括：雙重錄製（原生事件+螢幕影片）、LLM編譯（利用VideoDB的場景索引和文本生成）、優雅降級（事件僅模式）、跨平臺支援（Windows/macOS/Linux）、技能版本控制（重新編譯時自動歸檔舊版本）以及變數模板化（將錄製中的具體值如搜尋詞、日期、路徑等轉化為可複用輸入）。

專案架構清晰，分為捕獲模組（封裝原生輔助功能鉤子）、編譯模組（包含LLM提示、Markdown生成器、工具對映）、註冊模組（技能CRUD和版本管理）以及模式定義和指令碼工具。生成的SKILL.json包含執行策略（如瀏覽器、桌面應用、混合等），指導代理選擇正確的工具路徑。SKILL.md則遵循agentskills.io標準，包含執行指導和持續改進建議。

Record & Replay為AI代理的工作流自動化提供了一種高效、可靠的解決方案，尤其適合需要精確復現桌面操作的場景。專案程式碼託管在GitHub上，採用MIT許可證，社群可透過Discord和官方文件獲取支援。