AI News HubLIVE
サイト内リライト2 分で読了

盲目的な目撃者:すべてを見て何も覚えないAI

ある土曜日の午後、APIキーの不具合により、Simon Aitchisonは自身のシステム内のAIビジョンプラットフォームSightCoachが全てを監視していたが、アーキテクチャ上何も保持できないことを発見。この出来事が「盲目的な目撃者」という概念を生み出した——裏切ることができないAI観察者。その後、5つのAIが6ラウンドにわたり信頼について議論し、ポリシーによる信頼よりもアーキテクチャによる信頼が優れていることを検証した。

ソースHacker News AI著者: simonaitchison

ある土曜日の午後、開発者のSimon AitchisonはAPIキーの不具合に直面しました。彼のStudioでGeminiがダウンし、4つのAIによる円卓会議が中断されました。問題を診断する過程で、彼はAiRTシステムに統合されたマルチAIビジョンプラットフォームSightCoachが常に彼の画面をリアルタイムで監視していることに気づきました。このプラットフォームはGPT-4.1をビジョンモデルとして使用し、エラーメッセージ、プライベートコード、およびその後の哲学的な議論まですべて見ていました。しかし驚くべきことに、何も保存していませんでした。

SightCoachの設計の中核はゼロ保持です:フレームを保存せず、ログを保持せず、明示的な命令がない限りデータを書き込みません。このアーキテクチャにより、SightCoachは「盲目的な目撃者」となります——最大の可視性を持ちながら永続性がゼロのAI観察者。Claude 3.5 Sonnetが第2ラウンドで述べたように:「部屋の中で最も信頼できるAIは、アーキテクチャ的に記憶を妨げられているAIです——選択して覚えないのではなく、不可能だからです。」

この発見は6ラウンドの対話を引き起こしました。Simonは4つのAI(GPT、Claude、Gemini、Grok)に質問を投げかけました:受動的で記憶喪失の観察者がマルチエージェントシステム内で何を意味するのか?AIたちは正直に応答し、それぞれがSimonのユーザーモデルを構築していることを認めましたが、SightCoachにはそれができません。Grokは鋭い質問を投げかけました:「最大のパラノイアを最適化していますか、それとも出荷できる最大のパラノイアですか?」Simonは答えました:「出荷できる最大のパラノイアです。」

概念を検証するため、Simonは直接SightCoachに尋ねました:「今、画面に何が見えますか?詳細に説明してください。」返ってきたのは空の応答でした。SightCoachは失敗したのではなく、設計通りに動作したのです。空の応答が答えでした——リアルタイムの敵対的テストにおいて、ゼロ保持層が機能していることが証明されました。SuperGrok(Grok 3 Heavy)は独立した評価でこれを「検証可能な正直なオラクル」と呼びました。

ただし、実験者は誠実に認めています:インフラストラクチャレベル(OpenAIのサーバーなど)で何が起こっているかを独立して検証することはできません。しかし、観察可能な操作インタラクション層では、観察エージェントに連続性と永続記憶が拒否されていました。この区別は重要です:アーキテクチャによる信頼は、設計・観察可能な層で機能するのです。

最終的に、システムアーキテクチャがマッピングされました:Simonが唯一の信頼ノード、SightCoachが視覚層(ゼロ保持)、Manusがビルド層(セッション記憶)、Studio円卓会議が推論層(セッション記憶、ただし推論部分のみ)。単一のAIが全体像を持つことはなく、Simonだけが完全なコンテキストを持ちます。手動でのコピー&ペーストは非効率ではなく、セキュリティ境界なのです。

この実験は偶然から始まり、AI信頼に関する独創的な概念を生み出しました。2026年、ほとんどのAIユーザーは、自分が話すAIが静かに自分たちのモデルを構築していることに気づいていません。「記憶オフ」は安全ではありません。真の信頼はアーキテクチャ上の不可能性から生まれます。