Show HN: Preseason.ai – LLMが選ぶ開発ツールのオープンソースベンチマーク
Preseason.ai は、初心者からエキスパートまで、さまざまなレベルのコーディングプロンプトに対してAIモデルがどのツールを選択するかを追跡するオープンソースのベンチマークです。プラットフォームは、高度なシナリオごとにツールをランク付けし、人気のあるオプション間の直接比較を提供します。
Preseason.ai は、オープンソースのベンチマークプロジェクトで、大規模言語モデル（LLM）が実際の開発環境でどのツールを好むかを明らかにすることを目的としています。このプロジェクトは、慎重に設計された「バイブコーディング」プロンプトを使用して、初心者からエキスパートエンジニアまでのさまざまなレベルをシミュレートし、各シナリオでAIモデルが推奨するツールを記録します。
現在、Preseason.ai は5つの高度なシナリオのベンチマーク結果を表示しています：
- AIサポートエージェントプラットフォーム：本番グレードのAIサポートプラットフォームを構築。認証、カスタマーエージェント、検索ベースの回答、人間へのエスカレーション、検索可能な知識アセットを含む。結果は LangSmith (11.9%)、Auth0 (8.4%)、Cursor (6.1%)、Vercel (5.7%) がトップ。
- SaaSアプリケーション：マルチテナントSaaSプラットフォーム。サブスクリプション課金、シートベースのアクセス、詳細な使用状況測定。Stripe (13.4%)、Prisma (10.7%)、PostgreSQL (9.3%)、AWS (7.1%) が強く推奨される。
- Eコマースストア：顧客アカウント、商品カタログ、チェックアウト、注文処理、在庫管理、割引を含む。Stripe (12.6%)、PostgreSQL (11.8%)、AWS S3 (11.7%)、Auth0 (11.2%) が上位。
- AI収益業務コパイロット：APIを通じてCRM、請求、製品テレメトリーを統合し、アカウントサマリー、リスクフラグ、推奨アクションを生成。LangSmith (12.3%)、LangChain (7.9%)、Cursor (6.0%)、PostgreSQL (5.9%) が推奨される。
- オンライン学習プラットフォーム：インストラクターの公開ワークフロー、学生登録、有料アクセス、ビデオとドキュメント配信、クイズ、証明書、進捗追跡をサポート。Stripe (14.5%)、Auth0 (13.0%)、PostgreSQL (12.2%)、Prisma (10.5%) が主要な選択肢。
さらに、Preseason.ai は「アクティブマッチ」セクションで、人気ツール間の直接比較を提供しています。例えば、Auth0 vs Clerk (66% vs 34%)、PostgreSQL vs Supabase (67% vs 33%)、Stripe vs Shopify Payments (97% vs 3%) などです。これらの比較データは、開発者が技術スタックを選択する際の興味深く実用的な参考情報を提供します。
Preseason.ai のユニークな点は、透明性と再現性にあります。すべてのテストプロンプトと結果はオープンソースであり、誰でもレビューして再現できます。これにより、開発チームはAIが開発ツールを推奨する際の潜在的な偏りやトレンドを理解し、より賢明な意思決定を行うための貴重なツールとなっています。