Democr.ai：自託管代理AI運行時，具備審計與RBAC功能

Democr.ai 是一個開源的自託管代理AI運行時框架，旨在為AI應用提供完整的運行環境。與傳統的AI應用棧（通常需要組合聊天UI、LLM客户端、工作流庫以及獨立的審計、權限、沙箱和可觀測性基礎設施）不同，Democr.ai 將這些關注點整合到一個統一的運行時契約中。該框架基於嚴格的模塊化架構，所有組件包括認證都是作為模塊構建的，使用相同的公共SDK。

框架的核心特性包括：服務端驅動的UI，實現並擴展了Google的A2UI協議，支持在Web和桌面客户端上渲染相同的UI定義；原生多租户，在寫入時強制隔離；跨平台OS級沙箱（Linux使用Landlock+seccomp+iptables，macOS使用Seatbelt，Windows使用低完整性+WFP）；通過SQLAlchemy鈎子實現的三層審計，支持敏感字段脱敏；基於聲明式模塊清單的RBAC；可插拔的AI引擎編排，支持本地、遠程和分佈式運行時；引擎配額管理；知識子系統，支持向量和圖數據庫後端。

Democr.ai的獨特之處在於它將安全性和審計性作為運行時原語而非應用特性。模型調用通過編排器進行，支持本地和遠程提供商、進程隔離、配額和多節點執行。知識攝入、檢索、媒體處理、工具、MCP和代理技能共享相同的請求和可觀測性上下文。項目目前處於測試階段，但架構已面向生產級約束。

A2UI是Democr.ai的一個關鍵創新。它讓代理能夠構建UI組件，這些組件渲染為原生應用程序表面，而不是屏幕截圖或標記片段。模塊在服務器上聲明式地描述UI，然後在代理工作時流式傳輸結構化更新。這意味着後端保持對行為、動作和運行時效果的所有權。

在性能方面，框架在4實例配置下30分鐘內處理了468,840個請求，吞吐量達1,543.83 req/s，平均延遲33.28ms，p95延遲47.05ms；8實例配置下吞吐量提升至2,374.55 req/s。這些數據來自本地壓力測試，並非通用性能聲明。壓力測試環境為Intel Core i9-14900K，64GB RAM，Ubuntu 24，Python 3.12.3。資源使用方面，4實例運行時平均總CPU為1326.9%，峯值RSS為7092.1 MB。

安全模型覆蓋意外供應鏈妥協——有缺陷或被入侵的第三方模塊不得在其聲明範圍之外危害系統。但部署者故意安裝的惡意模塊不在覆蓋範圍內。配置文件為明文，由設置嚮導本地生成；秘密僅存儲在數據庫中時進行靜態加密。

快速開始需要Python 3.12+，通過python main.py setup進行初始設置。框架提供了豐富的CLI命令，例如python main.py db migrate -m "desc"用於創建數據庫遷移，python main.py install-engines examples/engine-install.example.yaml用於從YAML安裝引擎，等等。詳細文檔見 democr.ai/docs/。

總之，Democr.ai 為需要合規性、可觀測性和避免供應商鎖定的團隊提供了一個集成的運行時解決方案，將UI、AI引擎、安全性和審計整合到一個統一的框架中。它不僅僅是一個薄包裝器、模型路由器或聊天UI庫，而是一個模塊、引擎、提取器和客户端組成單一連貫系統的運行時。