AI構築アプリ1,868件を本番準備状態でスキャンし、スキャナーを監査

PathToShipは最近、1868の公開GitHubリポジトリをスキャンした詳細なレポートを公開し、AIコーディングツールで構築されたアプリケーションの本番準備性の現状を明らかにしました。これらのリポジトリは、Bolt、Lovable、v0、Cursor、Replitなど9種類の主要AIツールを使用して構築されたことが確認されており、スキャナーはセキュリティ、アーキテクチャ、スケーラビリティなど7つの次元にわたって80の自動チェックを実行しました。

結果によると、平均スコアは68.3、中央値は71、範囲は31〜95でした。本番準備基準（80点）を満たしたアプリはわずか23%で、24%に少なくとも1つの重大な問題が見つかり、15%にハードコードされたシークレットやAPIキーが含まれていました。セキュリティと本番準備性が最も弱い次元で、平均スコアはそれぞれ65と56。一方、スケーラビリティとコスト効率はそれぞれ80と88と良好でした。これは、AIツールが効率的なコードを生成する一方で、運用に必要な堅牢性が欠けているというレポートの中心的な論点を裏付けています。

レポートのハイライトは、スキャナー自身の監査です。チームは57件の重大な問題の代表的なサンプルを手動で検証し、当初の偽陽性率が42%にも上ることを発見しました。プレースホルダーシークレットの無視、無害な値（エラーメッセージ内の「password」など）の認識、サービスロールの権限のないポリシーの緩和など、対象を絞った修正により、偽陽性率は約25%に低減しました。また、v0のドメイン更新漏れにより約85%のv0リポジトリが見逃されていた検出バグを修正し、ツール検出精度は76%から92%に向上しました。

改善にもかかわらず、チームは依然として重大な問題の約4分の1が偽陽性である可能性を認めています。これは静的解析では値の出所を追跡できないためです。真の脆弱性を隠すことなく、実際の漏洩を見逃さないために、あえて推測ルールを導入せず、次回のデータフロー解析の改善を待つ選択をしました。すべての修正は、32件の手動確認済みの実際の脆弱性に影響を与えないことを検証済みです。

ツール別の結果では、重大な問題の割合は現在21〜31%の範囲に収まっており、当初報告された22〜53%の範囲から大幅に改善されました。LovableやWindsurfの初期の高い偽陽性率は修正されています。よく見られる軽微な問題としては、コンテンツセキュリティポリシーの欠如（90%）、プライバシーポリシーの欠如（88%）、大容量ファイル（74%）、Reactエラーバウンダリの欠如（60%）などが挙げられます。これらは、AI構築のデモと本番アプリケーションの差が主に日常的なエンジニアリング作業にあることを示しています。

PathToShipはまた、スキャンの限界を公開しています：静的パターン分析に基づくため、実行時の動作、デプロイ設定、データフローを評価できません。また、スキャンされたリポジトリは公開プロジェクトであり、趣味のプロジェクトやデモに偏っている可能性が高く、実際の本番アプリケーションを過小評価しています。したがって、すべての統計はスキャンしたサンプルにのみ適用され、AI構築アプリ全体に外挿すべきではありません。