Democr.ai：自託管代理AI執行時，具備審計與RBAC功能

Democr.ai 是一個開源的自託管代理AI執行時框架，旨在為AI應用提供完整的執行環境。與傳統的AI應用棧（通常需要組合聊天UI、LLM客戶端、工作流庫以及獨立的審計、許可權、沙箱和可觀測性基礎設施）不同，Democr.ai 將這些關注點整合到一個統一的執行時契約中。該框架基於嚴格的模組化架構，所有元件包括認證都是作為模組構建的，使用相同的公共SDK。

框架的核心特性包括：服務端驅動的UI，實現並擴充套件了Google的A2UI協議，支援在Web和桌面客戶端上渲染相同的UI定義；原生多租戶，在寫入時強制隔離；跨平臺OS級沙箱（Linux使用Landlock+seccomp+iptables，macOS使用Seatbelt，Windows使用低完整性+WFP）；透過SQLAlchemy鉤子實現的三層審計，支援敏感欄位脫敏；基於宣告式模組清單的RBAC；可插拔的AI引擎編排，支援本地、遠端和分散式執行時；引擎配額管理；知識子系統，支援向量和圖資料庫後端。

Democr.ai的獨特之處在於它將安全性和審計性作為執行時原語而非應用特性。模型呼叫透過編排器進行，支援本地和遠端提供商、程序隔離、配額和多節點執行。知識攝入、檢索、媒體處理、工具、MCP和代理技能共享相同的請求和可觀測性上下文。專案目前處於測試階段，但架構已面向生產級約束。

A2UI是Democr.ai的一個關鍵創新。它讓代理能夠構建UI元件，這些元件渲染為原生應用程式表面，而不是螢幕截圖或標記片段。模組在伺服器上宣告式地描述UI，然後在代理工作時流式傳輸結構化更新。這意味著後端保持對行為、動作和執行時效果的所有權。

在效能方面，框架在4例項配置下30分鐘內處理了468,840個請求，吞吐量達1,543.83 req/s，平均延遲33.28ms，p95延遲47.05ms；8例項配置下吞吐量提升至2,374.55 req/s。這些資料來自本地壓力測試，並非通用效能宣告。壓力測試環境為Intel Core i9-14900K，64GB RAM，Ubuntu 24，Python 3.12.3。資源使用方面，4例項執行時平均總CPU為1326.9%，峰值RSS為7092.1 MB。

安全模型覆蓋意外供應鏈妥協——有缺陷或被入侵的第三方模組不得在其宣告範圍之外危害系統。但部署者故意安裝的惡意模組不在覆蓋範圍內。配置檔案為明文，由設定嚮導本地生成；秘密僅儲存在資料庫中時進行靜態加密。

快速開始需要Python 3.12+，透過python main.py setup進行初始設定。框架提供了豐富的CLI命令，例如python main.py db migrate -m "desc"用於建立資料庫遷移，python main.py install-engines examples/engine-install.example.yaml用於從YAML安裝引擎，等等。詳細文件見 democr.ai/docs/。

總之，Democr.ai 為需要合規性、可觀測性和避免供應商鎖定的團隊提供了一個整合的執行時解決方案，將UI、AI引擎、安全性和審計整合到一個統一的框架中。它不僅僅是一個薄包裝器、模型路由器或聊天UI庫，而是一個模組、引擎、提取器和客戶端組成單一連貫系統的執行時。