Show HN：用于本地LLM推理和GPU/CPU上XGBoost训练的AI/ML基准测试
一个开源的基准测试套件，通过一条命令即可全面测试本地GPU/CPU在AI/ML工作负载上的性能，包括Ollama LLM推理和XGBoost训练，并自动生成交互式HTML报告。
文章情报
要点
- 支持Ollama LLM（3B-14B参数）和XGBoost训练/推理基准测试
- 单命令执行，自动生成HTML报告和Streamlit仪表板
- 可选择上传加密结果以帮助建立参考数据库
- 支持CPU和NVIDIA GPU，AMD GPU部分支持
为什么重要
这条新闻值得关注，因为支持Ollama LLM（3B-14B参数）和XGBoost训练/推理基准测试。
技术影响
可能影响模型选型、推理成本、产品能力和评测基准。
AI/ML GPU Bench 是一个开源基准测试套件，旨在帮助用户评估本地GPU和CPU在典型人工智能和机器学习工作负载上的性能。该项目由 GitHub 用户 albedan 创建，目前获得了13颗星和0个分支。
该套件的核心功能是通过一条命令执行完整的基准测试，并生成交互式HTML报告。它涵盖了两种主要工作负载：Ollama LLM推理（支持3B到14B参数的多种模型）和XGBoost训练与推理（使用HIGGS数据集，从10万行到1000万行以上）。所有测试都通过一个YAML配置文件（ai_bench_suite.yaml）和运行脚本（run_suite.py）编排。
使用非常简单：克隆仓库后，运行uv run run_suite.py即可。首次运行可能需要更长的时间，因为uv会自动创建环境并安装依赖。如果需要进行Ollama基准测试，需要确保Ollama已安装并运行在http://localhost:11434。还可以使用--autopull标志自动拉取缺失的Ollama模型。
测试结果会以CSV文件记录，并自动执行Jupyter笔记本生成HTML报告，在浏览器中打开。报告包含与参考系统的对比。此外，项目还提供了一个定期更新的Streamlit仪表板（https://ai-ml-gpu-bench.streamlit.app），方便查看不断增长的结果集。
为了帮助建立参考数据库，用户可以选择上传加密的测试结果（使用RSA 4096位加密）。上传仅包含技术基准数据，不包含提示、模型输出或系统文件。用户可以使用--no-upload-results标志完全跳过上传。
项目支持多种运行模式：可以单独运行Ollama或XGBoost基准测试，也可以使用--fast选项只测试较快的模型。对于没有GPU的用户，套件会自动跳过GPU测试。对于AMD GPU，Ollama可以利用GPU加速，而XGBoost可能仅在CPU上运行。
该套件还注重隐私保护：结果分享默认启用，但用户可以通过命令行选项选择退出。所有基准测试参数都可以在YAML文件中自定义，例如注释掉不需要测试的LLM模型。
总之，AI/ML GPU Bench 是一个全面、易用的本地AI/ML性能测试工具，适合从个人开发者到研究人员的各类用户。