录制与回放：只需演示一次，即可教会AI代理桌面工作流

VideoDB团队发布了开源项目“Record & Replay”，这是一个基于MCP（Model Context Protocol）的服务器工具，能够记录人类在桌面上的操作流程，并将其编译成结构化的技能文件（SKILL.md），供AI代理后续使用。该项目旨在通过“一次演示，多次复用”的方式，简化AI代理的培训过程。

Record & Replay的核心工作流程分为三个步骤：记录、编译和使用。在记录阶段，工具通过原生辅助功能接口（如Windows的UIA、macOS的AX、Linux的AT-SPI）捕获用户界面事件，同时可选地通过VideoDB SDK录制屏幕视频，为后续编译提供视觉参考。编译阶段则由LLM（大型语言模型）将事件日志和场景描述转换为标准化的SKILL.json和人类与代理均可读的SKILL.md文件。最后，服务器将生成的技能文件安装到代理的全局技能目录中，使代理能够在未来自动执行该工作流。

安装Record & Replay需要Python 3.10及以上版本、uv包管理器以及有效的VideoDB API密钥。用户需克隆仓库，安装依赖，设置环境变量，并在MCP客户端（如Claude Desktop或VS Code）中配置服务器。对于macOS，还需赋予终端屏幕录制、辅助功能和输入监控权限。

使用上，Record & Replay采用“人机协作”（Human-in-the-loop）模式。代理启动录制后通知用户，用户手动执行工作流，完成后返回客户端并告知代理停止录制。代理随后调用编译工具生成技能文件。工具支持“前导时间”（lead_in_seconds）和“尾部修剪”（trim_end_seconds）参数，以便用户有足够时间切换应用，同时去除返回操作带来的冗余事件。如果屏幕录制不可用，系统会自动降级为仅事件记录模式。

Record & Replay的主要特性包括：双重录制（原生事件+屏幕视频）、LLM编译（利用VideoDB的场景索引和文本生成）、优雅降级（事件仅模式）、跨平台支持（Windows/macOS/Linux）、技能版本控制（重新编译时自动归档旧版本）以及变量模板化（将录制中的具体值如搜索词、日期、路径等转化为可复用输入）。

项目架构清晰，分为捕获模块（封装原生辅助功能钩子）、编译模块（包含LLM提示、Markdown生成器、工具映射）、注册模块（技能CRUD和版本管理）以及模式定义和脚本工具。生成的SKILL.json包含执行策略（如浏览器、桌面应用、混合等），指导代理选择正确的工具路径。SKILL.md则遵循agentskills.io标准，包含执行指导和持续改进建议。

Record & Replay为AI代理的工作流自动化提供了一种高效、可靠的解决方案，尤其适合需要精确复现桌面操作的场景。项目代码托管在GitHub上，采用MIT许可证，社区可通过Discord和官方文档获取支持。