SQL vs Pandas vs AIエージェント：分析問題を最も解決するのはどれか？

本記事では、SQL、Pandas、およびAIエージェント（例としてClaude）を、データ分析問題の解決能力という観点から比較します。StrataScratchの3つのインタビュー問題（易、中、難）を使用し、速度、正確性、説明可能性、デバッグ、スケーラビリティ、柔軟性、幻覚リスク、プロダクション対応の8つの次元で評価しました。すべてのコードは同一データセットに対して実行され、SQLとPandasの実行時間は500回の中央値、エージェントの応答時間はリクエスト送信から最初のトークン受信までを計測しました。

単純な単一テーブル検索（scroll_upイベントを実行したユーザーの特定）では、3つの手法すべてが正しい結果を返しました。SQLは0.002ミリ秒、Pandasは0.40ミリ秒、エージェントはSQL生成に2秒を要しました。この難易度ではエージェントのリスクは低いですが、スキーマ情報がないと列名の誤りによりサイレント障害が発生する可能性があります。

中程度の難易度の問題（機能ごとの平均完了率の計算）では、スキーマの接地が重要です。SQL（0.007ミリ秒）とPandas（2.05ミリ秒）は正しく計算しました。エージェントは「未開始のユーザーは0%とカウント」という明確な指示を与えられた場合に正しいSQLを生成しました（3秒）。しかし、この重要なフレーズがないと、エージェントは内部結合を使用し、結果が過大評価される可能性があり、気づかれにくいエラーとなります。

最も難しい問題（複数テーブルの結合とウィンドウ関数による累積計算）では、SQL（0.010ミリ秒）とPandas（1.84ミリ秒）が正解しました。エージェント（4秒）は等価なSQLを生成し、異なる分母（SUM OVER ()）を使用しましたが結果は一致しました。

総合すると、SQLは速度と決定論性で優位であり、Pandasは中規模データセットで良好でデバッグが容易、AIエージェントは迅速なプロトタイピングに適しますが、プロンプトの品質に依存します。スケーラビリティ面では、SQLとPandasは分散エンジンで拡張可能ですが、エージェントの推論時間が依然としてボトルネックです。プロダクション環境ではSQLとPandasの信頼性が高く、エージェントは探索的分析に適しています。