AI代理的追蹤與租户隔離防火牆（Apache 2.0）
Lumin 是一個開源的操作平台，用於生產環境中的 LLM 代理，提供追蹤、治理、防禦和運營四大支柱。它支持 OWASP LLM Top 10 防護，幷包含一個五層結構的租户隔離防火牆，可防止多租户機器人之間的數據泄露。所有功能打包在單個自託管 Docker 容器中，無需雲服務或供應商鎖定。
Lumin 是一個開源的運營平台，專為生產環境中的 LLM 代理設計，採用 Apache 2.0 許可證。它圍繞四個核心支柱構建：觀察、治理、防禦和運營。在觀察方面，Lumin 提供通用追蹤功能，支持 16 種一流集成，包括 Python SDK、TypeScript SDK、LangChain、LangGraph、LlamaIndex、CrewAI、AutoGen 等。它能夠捕獲完整的跨度樹，包括 LLM 調用、工具調用、檢索和嵌入，並支持多輪會話和實時流式傳輸。成本與令牌歸因功能可細分每個調用的費用，而評估與評分功能則允許對追蹤進行深入分析。
治理支柱包括一個基於策略的引擎，使用類型化 DSL 編寫規則，並支持生命週期（before_proxy_call/after_proxy_call）、優先級、嚴重性和條件判斷。內置 12 個啓動策略包，涵蓋 OWASP LLM Top 10、OWASP Agentic 2025、GDPR、HIPAA、PCI-DSS 等。規則可以在影子模式下自動安裝，然後逐一推廣到強制執行。版本控制、回滾和審計功能確保策略管理的可靠性。策略推薦者根據實際追蹤模式提出規則建議，而重放功能則允許在歷史追蹤上測試草稿策略。漂移檢測可提示提示注入分數、PII 率或工具調用形狀的異常變化。此外，還提供審批隊列和決策審計，用於需要人工參與的場景。
防禦支柱在運行時實施 OWASP LLM Top 10 防護。它採用八種檢測方法：Presidio NER（PII 識別）、Prompt Guard 2（注入分類器）、Llama Guard 4（14 種 MLCommons 危害類別）、LLM 判斷、嵌入相似性、間接提示注入檢測、本地可訓練分類器和正則表達式包。租户隔離防火牆是防禦支柱的關鍵組成部分，專門針對多租户機器人設計。它包含五個結構層：文件存儲沙箱（將所有文件系統工具調用重寫到按發送者隔離的目錄）、拒絕 shell 和出口（默認阻止 exec、bash、python、web_fetch 等工具）、對話歷史重置（當活躍發送者改變時清空 LLM 的消息歷史）、輸入編輯（使用 Presidio NER 和結構正則表達式替換 PII）以及審計追蹤（記錄所有阻止、編輯和沙箱重寫操作）。該防火牆已在真實場景中經過驗證，成功阻止了 Telegram 到 Slack 的數據泄露嘗試。
運營支柱包括 Webhook 扇出（每個阻止或策略命中觸發到 PagerDuty、Slack、SIEM 的通知）、備份與保留（計劃的 DuckDB 快照和可配置的保留窗口）以及指標與健康檢查（Prometheus 格式的 /v1/admin/metrics 端點）。Lumin 設計為彈性優先，代理不會因 Lumin 宕機而失敗——如果隊列溢出或服務器返回 5xx，跨度會靜默丟棄。
部署非常簡單。Lumin 作為單個 Docker 容器運行，使用 DuckDB 和 SQLite，無需外部服務。推薦使用 Docker Compose 進行本地部署，只需一個命令即可啓動 API 和儀表板。對於公共 VPS，建議將端口綁定到 127.0.0.1 並通過 SSH 隧道訪問儀表板，因為當前版本沒有內置認證。默認鏡像使用 en_core_web_lg 模型（約 750MB），但可以通過構建參數切換到較小的模型。
Lumin 還提供了廣泛的集成，包括 Python 和 TypeScript SDK，以及針對 LangChain、LangGraph、LlamaIndex、CrewAI、AutoGen、LiteLLM、OpenAI Agents、Pydantic AI、Anthropic、Mastra、VoltAgent 和 OpenClaw 的插件。OpenAI 兼容代理允許無需代碼更改即可自動檢測任何 OpenAI、Ollama 或 Anthropic 兼容客户端。
與其他工具相比，Lumin 在可觀察性、安全性和治理方面提供了更全面的解決方案。Langfuse 專注於追蹤但缺乏安全層，Lakera 和 NemoGuardrails 僅提供單點分類。Lumin 結合了可觀察性、策略生命週期和運行時防護，並且可以與其他可觀察性堆棧共存。
總之，Lumin 是一個針對 LLM 代理生產運營的一體化平台，強調本地優先、開放源碼和安全性。它特別適合需要多租户隔離和全面 OWASP 防護的團隊。