Record and Replay: AIエージェントにデスクトップワークフローを一度のデモで教える

VideoDBチームは、オープンソースプロジェクト「Record & Replay」をリリースしました。これはMCP（Model Context Protocol）サーバーとして動作し、人間がデスクトップ上で行う操作フローを記録し、AIエージェントが後で利用できる構造化されたスキルファイル（SKILL.md）にコンパイルします。「一度デモを行えば、何度でも再利用可能」というコンセプトで、AIエージェントのトレーニングプロセスを効率化します。

Record & Replayのコアワークフローは、記録、コンパイル、利用の3ステップです。記録フェーズでは、ネイティブのアクセシビリティインターフェース（WindowsのUIA、macOSのAX、LinuxのAT-SPI）を介してUIイベントをキャプチャし、オプションでVideoDB SDKを使用してスクリーン動画も録画します。コンパイルフェーズでは、LLM（大規模言語モデル）がイベントログとシーン記述を基に、標準化されたSKILL.jsonと人間・エージェントの両方が読めるSKILL.mdファイルを生成します。最後に、サーバーが生成したスキルファイルをエージェントのグローバルスキルディレクトリにインストールし、将来のエージェント実行時にワークフローを自動実行できるようにします。

インストールにはPython 3.10以上、uvパッケージマネージャー、有効なVideoDB APIキーが必要です。リポジトリをクローンし、依存関係をインストールし、環境変数を設定した上で、MCPクライアント（Claude DesktopやVS Codeなど）にサーバー設定を追加します。macOSでは、端末にスクリーン録画、アクセシビリティ、入力監視の許可を与える必要があります。

使用方法は、「人間参加型」（Human-in-the-loop）モードを採用しています。エージェントが録画開始を通知し、ユーザーが手動でワークフローを実行し、終了後にクライアントに戻って「停止」を伝えます。エージェントが録画停止とコンパイルツールを呼び出してスキルを生成します。ツールは「リードイン時間」（lead_in_seconds）と「末尾トリミング」（trim_end_seconds）パラメータをサポートし、アプリ切り替えのための時間を確保するとともに、戻り操作による冗長なイベントを除去します。スクリーン録画が利用できない場合は、イベントのみの記録に自動的にフォールバックします。

主な特徴として、二重録画（ネイティブイベント＋スクリーン動画）、LLMコンパイル（VideoDBのシーンインデックスとテキスト生成を活用）、グレースフルデグラデーション（イベントのみモード）、クロスプラットフォーム対応、スキルのバージョン管理（再コンパイル時に旧バージョンを自動アーカイブ）、変数テンプレート化（録画内の具体的な値（検索ワード、日付、ファイルパスなど）を再利用可能な入力に変換）などがあります。

プロジェクトのアーキテクチャは明確で、キャプチャモジュール（ネイティブアクセシビリティフックをラップ）、コンパイルモジュール（LLMプロンプト、Markdownジェネレーター、ツールマッピングを含む）、レジストリモジュール（スキルのCRUDとバージョン管理）、スキーマ定義、スクリプトツールで構成されています。生成されるSKILL.jsonには実行戦略（Webブラウザ、デスクトップアプリ、ハイブリッドなど）が含まれており、エージェントが適切なツールパスを選択できるようにします。SKILL.mdはagentskills.io標準に従い、実行ガイダンスと継続的改善ガイダンスを含みます。

Record & Replayは、AIエージェントによるデスクトップワークフローの自動化において、正確な再現が求められるシナリオに特に有効なソリューションです。プロジェクトコードはGitHubでMITライセンスのもとに公開されており、コミュニティはDiscordや公式ドキュメントを通じてサポートを得ることができます。