クラッシュではなかった：AIを使ったCIデバッグ

サイドプロジェクトKinjoの依存関係を更新していたとき、開発者は困惑させるCIテストの失敗に遭遇しました。KinjoはターミナルUIでローカルのDNS-SDおよびmDNSサービスをブラウズするツールです。CIスイートには、tmux内でKinjoを起動し、キーストロークを送信して正常に終了するかを確認するスモークテストが含まれています。しかし、テストは断続的に「drive-tui: pane exited via a signal (no exit code)」と報告し、クラッシュを示唆しました。

開発者は当初、Kinjoが実際にクラッシュしたと考えましたが、数時間の調査（複数のAIセッション、捨てられた仮説、小型のクラッシュキャプチャツールキットの開発を含む）の後、Kinjoは実際には正常に終了していたことが判明しました。問題の核心は、テストがプロセスの終了ステータスをどのように解釈するかにありました。tmuxペインがシグナルで終了すると、テストはそれをクラッシュとマークしますが、Kinjoは特定の状況でシグナル終了を正常な方法として使用していました。

開発者はAIツールを使用して、リソース競合からライブラリのバージョン問題までさまざまな仮説を生成・分析しましたが、最終的にカスタムツールで実際の終了シーケンスをキャプチャしました。そして、シグナルによる意図しない終了と意図的なシグナルの使用を区別する必要があることに気づきました。テストスクリプトを改善して正常終了を正しく認識できるようにし、誤報を回避しました。この経験はCIテストの修正だけでなく、プロセス終了動作の理解を深めることにもつながりました。