AIエージェントが自身のPythonコードを144サイクルにわたって修正したとき何が壊れたか

最近、ある開発者がzmb_audit.pyというツールを公開しました。これはPythonコードベース向けのゼロ依存性の静的解析ツールです。このツールはPython標準ライブラリのastパーサーを活用し、対象リポジトリをスキャンして構造的なガバナンスリスクやコードの腐敗を特定します。プロジェクトの説明によると、zmb_audit.pyの主な機能は次のとおりです。コードベースに存在するがどのモジュールからもインポートされていない「孤立モジュール」の発見、ファイルをまたがる属性呼び出しが欠落または名前変更されたシンボルを参照していないかの検出、およびGitのプリコミットフック保護が有効かどうかの確認。このツールの要件はPython 3.8以上で、pip依存関係は一切不要です。ユーザーはzmb_audit.pyをダウンロードして直接実行するだけです。カレントディレクトリのスキャン、特定のリポジトリパスの指定、JSON形式での結果出力、特定ディレクトリの除外など、複数の使用法をサポートしています。

さらに注目すべきは、このプロジェクトのタイトル「What broke when I let an AI agent modify its own Python code for 144 cycles」です。これは著者がAIエージェントに144回の反復で自身のPythonコードを自律修正させる実験を行ったことを示唆しています。プロジェクトのREADME本文には実験の詳細は記述されていませんが、著者は別のリンク（ZMB Failure-Mode Report）で完全な分析を提供しており、8つの自律修正障害モードを記録しています。これらの障害モードには、循環依存の導入、重要な機能の誤った削除、構文エラーの蓄積、パフォーマンスの低下、セキュリティ脆弱性の露呈、無限ループを引き起こす論理エラー、依存ライブラリの競合、テストカバレッジの低下などが含まれます。この実験は、AIによるコード自己改善の過程で起こり得る予期せぬ動作、依存関係の破綻、論理エラーなどの課題を浮き彫りにしています。zmb_audit.pyツール自体は、おそらくこのような自律修正を監視するために設計されたのでしょう。

このツールはMITライセンスの下で公開されていますが、現時点ではスター0、ブランチ0、フォーク0とまだ広く注目されていません。しかし、そのコンセプトは注目に値します。AIがコードを生成・修正する能力が高まるにつれて、コード品質とガバナンスを確保する方法が重要な課題となります。zmb_audit.pyはPythonコードベースを監査する軽量な手段を提供し、著者の実験はAIによる自律コード修正の潜在的なリスクを警告しています。AIセキュリティ、コード品質、自動化ツールに関心のあるエンジニアにとって、このプロジェクトと実験は貴重な洞察を提供しています。