Show HN：ローカルLLM推論とGPU/CPUでのXGBoostトレーニングのためのAI/MLベンチマーク

AI/ML GPU Benchは、ローカルのGPUおよびCPUが人工知能・機械学習ワークロードにおいてどのようなパフォーマンスを発揮するかを評価するためのオープンソースのベンチマークスイートです。GitHubユーザーのalbedanによって作成され、現在13スター、0フォークを獲得しています。

このスイートの核となる機能は、1つのコマンドで完全なベンチマークを実行し、インタラクティブなHTMLレポートを生成することです。カバーするワークロードは2つ：Ollama LLM推論（3Bから14Bパラメータの複数モデルをサポート）と、XGBoostトレーニング・推論（HIGGSデータセットを使用、10万行から1000万行以上）。すべてのテストはYAML設定ファイル（ai_bench_suite.yaml）と実行スクリプト（run_suite.py）でオーケストレーションされます。

使い方は簡単：リポジトリをクローンし、uv run run_suite.pyを実行するだけです。初回実行は、uvが自動的に環境を作成し依存関係をインストールするため、少し時間がかかる場合があります。Ollamaベンチマークを行うには、Ollamaがインストールされ、http://localhost:11434で実行されている必要があります。--autopullフラグを使用すると、不足しているOllamaモデルを自動的にプルできます。

テスト結果はCSVファイルに記録され、Jupyterノートブックが自動実行されてHTMLレポートが生成され、ブラウザで開きます。レポートにはリファレンスシステムとの比較が含まれます。さらに、定期的に更新されるStreamlitダッシュボード（https://ai-ml-gpu-bench.streamlit.app）も提供されており、増え続ける結果セットを簡単に閲覧できます。

リファレンスデータベースの構築に貢献するため、ユーザーは暗号化された結果（RSA 4096ビット暗号化）をアップロードすることを選択できます。アップロードされるのは技術的なベンチマークデータのみで、プロンプト、モデル出力、システムファイルは含まれません。--no-upload-resultsフラグを使用すれば、アップロードを完全にスキップできます。

プロジェクトは複数の実行モードをサポート：OllamaまたはXGBoostベンチマークのみを個別に実行したり、--fastオプションで高速なモデルのみをテストすることもできます。GPUがない場合、スイートは自動的にGPUテストをスキップします。AMD GPUの場合、OllamaはGPUアクセラレーションを利用できますが、XGBoostはCPUのみで動作する可能性があります。

プライバシーにも配慮：結果共有はデフォルトで有効ですが、コマンドラインオプションでオプトアウトできます。すべてのベンチマークパラメータはYAMLファイルでカスタマイズ可能で、テストしたくないLLMモデルをコメントアウトすることもできます。

要約すると、AI/ML GPU Benchは、個人開発者から研究者まで幅広いユーザーにとって、ローカルAI/MLパフォーマンスを評価するための包括的で使いやすいツールです。