Canary 是一款全新的輕量級模型監控工具,專為生產環境中的機器學習模型設計。它支持 scikit-learn 和 Keras 框架,能夠在無需複雜基礎設施的情況下,實時檢測數據漂移和異常。
該工具的核心功能包括數據漂移檢測、異常檢測、異步監控和實時儀表板。漂移檢測採用 KS 檢驗、總體穩定性指數(PSI)和卡方檢驗,針對每個特徵可配置閾值。異常檢測則結合了孤立森林和 z-score 集成方法,同時監控輸入和預測輸出。
Canary 的設計注重易用性。用户只需一行代碼即可包裝任何 sklearn 或 Keras 模型,監控作為副作用運行,不影響推理延遲。安裝命令簡單:pip install canary-ml 或 pip install canary-ml[keras]。從安裝到啓動實時儀表板,整個過程不超過 5 分鐘。
以下是一個使用示例:
from canary_ml import ModelMonitor
monitor = ModelMonitor(
model=your_model,
reference_data=X_train,
alert_threshold=0.2,
log_path="./canary_logs"
)
# 直接替代 predict — 監控作為副作用
predictions = monitor.predict(X_new)
report = monitor.get_report()
print(report.psi_score, report.drift_detected, report.anomaly_rate)
# 0.41 True 0.032
monitor.serve_dashboard(port=8501)此外,Canary 內置了一個零依賴的 HTML/JS 儀表板,隨包提供,無需雲賬户。儀表板可展示置信度分數、批次統計、PSI 指標、KS 統計量和異常率等信息。
目前 Canary 版本為 v1.2.5,採用 MIT 許可證,支持 Python 3.9 至 3.12。對於生產環境中的機器學習團隊來説,它提供了一個免費、高效且易於部署的監控方案。