Democr.ai：自托管代理AI运行时，具备审计与RBAC功能

Democr.ai 是一个开源的自托管代理AI运行时框架，旨在为AI应用提供完整的运行环境。与传统的AI应用栈（通常需要组合聊天UI、LLM客户端、工作流库以及独立的审计、权限、沙箱和可观测性基础设施）不同，Democr.ai 将这些关注点整合到一个统一的运行时契约中。该框架基于严格的模块化架构，所有组件包括认证都是作为模块构建的，使用相同的公共SDK。

框架的核心特性包括：服务端驱动的UI，实现并扩展了Google的A2UI协议，支持在Web和桌面客户端上渲染相同的UI定义；原生多租户，在写入时强制隔离；跨平台OS级沙箱（Linux使用Landlock+seccomp+iptables，macOS使用Seatbelt，Windows使用低完整性+WFP）；通过SQLAlchemy钩子实现的三层审计，支持敏感字段脱敏；基于声明式模块清单的RBAC；可插拔的AI引擎编排，支持本地、远程和分布式运行时；引擎配额管理；知识子系统，支持向量和图数据库后端。

Democr.ai的独特之处在于它将安全性和审计性作为运行时原语而非应用特性。模型调用通过编排器进行，支持本地和远程提供商、进程隔离、配额和多节点执行。知识摄入、检索、媒体处理、工具、MCP和代理技能共享相同的请求和可观测性上下文。项目目前处于测试阶段，但架构已面向生产级约束。

A2UI是Democr.ai的一个关键创新。它让代理能够构建UI组件，这些组件渲染为原生应用程序表面，而不是屏幕截图或标记片段。模块在服务器上声明式地描述UI，然后在代理工作时流式传输结构化更新。这意味着后端保持对行为、动作和运行时效果的所有权。

在性能方面，框架在4实例配置下30分钟内处理了468,840个请求，吞吐量达1,543.83 req/s，平均延迟33.28ms，p95延迟47.05ms；8实例配置下吞吐量提升至2,374.55 req/s。这些数据来自本地压力测试，并非通用性能声明。压力测试环境为Intel Core i9-14900K，64GB RAM，Ubuntu 24，Python 3.12.3。资源使用方面，4实例运行时平均总CPU为1326.9%，峰值RSS为7092.1 MB。

安全模型覆盖意外供应链妥协——有缺陷或被入侵的第三方模块不得在其声明范围之外危害系统。但部署者故意安装的恶意模块不在覆盖范围内。配置文件为明文，由设置向导本地生成；秘密仅存储在数据库中时进行静态加密。

快速开始需要Python 3.12+，通过python main.py setup进行初始设置。框架提供了丰富的CLI命令，例如python main.py db migrate -m "desc"用于创建数据库迁移，python main.py install-engines examples/engine-install.example.yaml用于从YAML安装引擎，等等。详细文档见 democr.ai/docs/。

总之，Democr.ai 为需要合规性、可观测性和避免供应商锁定的团队提供了一个集成的运行时解决方案，将UI、AI引擎、安全性和审计整合到一个统一的框架中。它不仅仅是一个薄包装器、模型路由器或聊天UI库，而是一个模块、引擎、提取器和客户端组成单一连贯系统的运行时。