AI News HubLIVE
站内改写1 分钟阅读

Show HN: 轻量级模型监控工具,支持 scikit-learn 和 Keras

Canary 是一款免费、轻量级的 Python 库,用于监控生产环境中的机器学习模型,能够以最小设置检测漂移和异常。

来源Hacker News AI作者: aitor1717

Canary 是一款全新的轻量级模型监控工具,专为生产环境中的机器学习模型设计。它支持 scikit-learn 和 Keras 框架,能够在无需复杂基础设施的情况下,实时检测数据漂移和异常。

该工具的核心功能包括数据漂移检测、异常检测、异步监控和实时仪表板。漂移检测采用 KS 检验、总体稳定性指数(PSI)和卡方检验,针对每个特征可配置阈值。异常检测则结合了孤立森林和 z-score 集成方法,同时监控输入和预测输出。

Canary 的设计注重易用性。用户只需一行代码即可包装任何 sklearn 或 Keras 模型,监控作为副作用运行,不影响推理延迟。安装命令简单:pip install canary-mlpip install canary-ml[keras]。从安装到启动实时仪表板,整个过程不超过 5 分钟。

以下是一个使用示例:

from canary_ml import ModelMonitor

monitor = ModelMonitor(
    model=your_model,
    reference_data=X_train,
    alert_threshold=0.2,
    log_path="./canary_logs"
)

# 直接替代 predict — 监控作为副作用
predictions = monitor.predict(X_new)

report = monitor.get_report()
print(report.psi_score, report.drift_detected, report.anomaly_rate)
# 0.41 True 0.032

monitor.serve_dashboard(port=8501)

此外,Canary 内置了一个零依赖的 HTML/JS 仪表板,随包提供,无需云账户。仪表板可展示置信度分数、批次统计、PSI 指标、KS 统计量和异常率等信息。

目前 Canary 版本为 v1.2.5,采用 MIT 许可证,支持 Python 3.9 至 3.12。对于生产环境中的机器学习团队来说,它提供了一个免费、高效且易于部署的监控方案。