AIコードレビューを測定可能にする

コードレビューはソフトウェアエンジニアのボトルネックの一つです。loveholidaysでは日常業務でAIを多用していますが、PRがAIで作成されたか否かに関わらず、誰かがレビューする必要があります。IntercomがAIを使ってコードレビューを承認する方法についてのスレッドに触発され、あるエンジニアが独自のAIレビューシステムを構築することにしました。

このプロジェクトは既存ツールの単なる代替ではなく、OpenAI Codexをベースにしたローカルソリューションです。エンジニアは追加のサブスクリプションを避け、既存のワークフローとコンテキストを最大限に活用できるシステムを目指しました。従来のAIレビューがgit diffのみに依存するのに対し、このシステムは関連ファイルを開き、周辺コードの動作を確認し、変更が既存の動作を壊す可能性を考慮します。

技術的には、まずgit worktreeを使用してPRを新しい作業ディレクトリにクローンし、並列評価を可能にします。次にcodex execを実行し、カスタムプロンプト、ルール、出力形式でレビューを実施します。最終的に、判定（例：「rejected」）と各行のコメントや改善提案を含む構造化JSONを返します。

エンジニアは、これは実験的な試みであり、特定のツールを推奨するものではないと強調しています。実験では数十億トークンを消費し、コストは高かったものの貴重な学習経験となりました。この方法はリスクを理解し、ローカルまたはサンドボックス環境で実行できるチームに適しています。また、コンテキストの重要性も強調されています。PRレビュー時に、diffだけを孤立して見ることはほとんどなく、関連ファイルを開き、周辺コードの動作を調べ、同様のパターンを探し、変更が既存の動作を壊す可能性を考えます。AIレビューアにも同じことを期待しました。さらに、このアプローチは既存のワークフローに適合し、エージェントは日々使用している同じスキル、MCPサーバー、コマンド、プロジェクトコンテキストを利用できるため、レビューが汎用的な外部ツールというより、既存の作業の延長のように感じられます。