OpenAI Appshots、Macの任意のウィンドウをCodexのコンテキストに
OpenAIの新機能Appshotsにより、Macユーザーは2つのCommandキーを押すだけでアクティブウィンドウの内容(スクロール領域外のテキストを含む)をコードアシスタントCodexに送信でき、コピーや説明が不要になります。画面録画とアクセシビリティの許可が必要で、全プランで利用可能。Computer Useを補完し、EEAなどの地域制限の対象外です。
記事インテリジェンス
要点
- 2つのCommandキーを押すだけでアクティブウィンドウの内容をCodexスレッドに送信(表示外のテキストも含む)。
- APIドキュメント、メール、デザイン案、エラーメッセージなどを直接送信可能。
- macOSの画面録画とアクセシビリティ機能の許可が必要。全プランで使用可能。
- Computer Useを補完するが、EEA、英国、スイスなどの地域制限の対象外。
重要な理由
このニュースが重要なのは、2つのCommandキーを押すだけでアクティブウィンドウの内容をCodexスレッドに送信(表示外のテキストも含む)ためです。
技術的影響
開発ワークフロー、チーム協業、自動化能力、ツールチェーン選定に影響する可能性があります。
OpenAIは、コードアシスタントCodex向けの新機能「Appshots」を発表しました。この機能を利用すると、Macユーザーは2つのCommandキーを同時に押すだけで、アクティブなウィンドウの内容をCodexのスレッドに送信できます。送信されるのはスクリーンショットだけでなく、ウィンドウ内のテキスト情報も含まれ、スクロール領域外のコンテンツも対象となります。これにより、APIドキュメントやメール、デザイン案、エラーメッセージなどを手動でコピーしたり説明したりすることなく、そのままCodexに渡すことが可能です。
ただし、Google DocsやGmailなどのウェブサービスでは、表示されている部分のスクリーンショットのみが取得される場合があります。Appshotsを利用するには、macOSの画面録画とアクセシビリティ機能に対する許可が必要です。この機能はすべてのプランで利用でき、4月に発表されたComputer Use機能を補完するものです。Computer Useとは異なり、AppshotsはEEA(欧州経済領域)、英国、スイスに対する地域制限の対象外となっています。OpenAIは、この機能がコーディング効率を向上させ、AIがユーザーの意図をより迅速に理解できるようになると述べています。