私はコーディングエージェントにスクリーンショットではなくJSONを与えている

著者はSlimSnapというツールを開発し、スクリーンキャプチャを構造化JSONに変換してAIコーディングエージェントに提供している。スクリーンショットを貼り付けるのに比べ、JSON表現はトークン使用量を37～85%削減し、エージェントが毎回ピクセルを解釈せずに要素を直接参照できる。この記事では、トークン節約、構造的利点、スキル統合、オープンスキーマの重要性について詳述している。