Show HN: AIエージェントの2バージョンを比較し、サイレントな権限変更を検出
この新しいツールは、AIエージェントの2つのバージョンを構造的に比較し、LLMに依存せずにツール権限や信頼レベルのサイレントな変更を検出します。ブラウザ上で完全に動作し、プライバシーを確保し、CI/CDパイプラインに統合できます。
AIエージェントが広く使われるようになるにつれ、その動作はしばしば大規模言語モデル（LLM）によって書き換えられ、サイレントな権限変更が発生する可能性があります。例えば、データ読み取りのみ可能だったツールが突然、返金権限を得るといった変化です。この問題に対処するため、「Agent Drift」という新しいツールが登場しました。これはAIエージェントの異なるバージョンを確定的に比較し、権限や信頼レベルの変化を明確に捉えます。
従来のLLMベースの比較とは異なり、このツールはエージェント設定を構造的に解析し、各バージョンのツール境界と信頼レベルを抽出し、AgentAzバリデーターと同じ保守的なロジックを適用します。ツール権限の変化を直接比較し、「issue_refundの承認ゲートが失われた」といった正確な指摘を行います。この確定的なアプローチにより、監査の再現性と信頼性が確保されます。
さらに、ツールはブラウザ上で完全に動作し、ペーストされた内容はアップロードや保存されないため、データプライバシーが保護されます。継続的な監視が必要な場合、開発者はAgent Watchサービスにエージェントを接続してドリフトを追跡したり、CIパイプラインでGitHub Actionを使用して最大権限レベルを強制することができます。これにより、権限管理は手動チェックから自動化・継続的な制御へと移行し、急速に反復されるAI開発環境に特に適しています。