錄製與回放：只需演示一次，即可教會AI代理桌面工作流

VideoDB團隊發佈了開源項目“Record & Replay”，這是一個基於MCP（Model Context Protocol）的服務器工具，能夠記錄人類在桌面上的操作流程，並將其編譯成結構化的技能文件（SKILL.md），供AI代理後續使用。該項目旨在通過“一次演示，多次複用”的方式，簡化AI代理的培訓過程。

Record & Replay的核心工作流程分為三個步驟：記錄、編譯和使用。在記錄階段，工具通過原生輔助功能接口（如Windows的UIA、macOS的AX、Linux的AT-SPI）捕獲用户界面事件，同時可選地通過VideoDB SDK錄製屏幕視頻，為後續編譯提供視覺參考。編譯階段則由LLM（大型語言模型）將事件日誌和場景描述轉換為標準化的SKILL.json和人類與代理均可讀的SKILL.md文件。最後，服務器將生成的技能文件安裝到代理的全局技能目錄中，使代理能夠在未來自動執行該工作流。

安裝Record & Replay需要Python 3.10及以上版本、uv包管理器以及有效的VideoDB API密鑰。用户需克隆倉庫，安裝依賴，設置環境變量，並在MCP客户端（如Claude Desktop或VS Code）中配置服務器。對於macOS，還需賦予終端屏幕錄製、輔助功能和輸入監控權限。

使用上，Record & Replay採用“人機協作”（Human-in-the-loop）模式。代理啓動錄製後通知用户，用户手動執行工作流，完成後返回客户端並告知代理停止錄製。代理隨後調用編譯工具生成技能文件。工具支持“前導時間”（lead_in_seconds）和“尾部修剪”（trim_end_seconds）參數，以便用户有足夠時間切換應用，同時去除返回操作帶來的冗餘事件。如果屏幕錄製不可用，系統會自動降級為僅事件記錄模式。

Record & Replay的主要特性包括：雙重錄製（原生事件+屏幕視頻）、LLM編譯（利用VideoDB的場景索引和文本生成）、優雅降級（事件僅模式）、跨平台支持（Windows/macOS/Linux）、技能版本控制（重新編譯時自動歸檔舊版本）以及變量模板化（將錄製中的具體值如搜索詞、日期、路徑等轉化為可複用輸入）。

項目架構清晰，分為捕獲模塊（封裝原生輔助功能鈎子）、編譯模塊（包含LLM提示、Markdown生成器、工具映射）、註冊模塊（技能CRUD和版本管理）以及模式定義和腳本工具。生成的SKILL.json包含執行策略（如瀏覽器、桌面應用、混合等），指導代理選擇正確的工具路徑。SKILL.md則遵循agentskills.io標準，包含執行指導和持續改進建議。

Record & Replay為AI代理的工作流自動化提供了一種高效、可靠的解決方案，尤其適合需要精確復現桌面操作的場景。項目代碼託管在GitHub上，採用MIT許可證，社區可通過Discord和官方文檔獲取支持。