角色模型:为正确工作分配正确AI模型的协议
角色模型(role-model)是一个开放的、具备能力感知能力的AI路由协议,它根据角色和任务元数据、路由策略以及观察到的性能来路由请求,而不是仅根据模型名称。它包括一个参考运行时、可解释的路由器决策以及基准角色(如通用聊天、代码编辑、审查、工具使用、嵌入、分类和语言检测)。
角色模型(role-model)是一个开放协议,用于实现具备能力感知的AI路由,同时附带一个打包的参考路由运行时。它为系统提供了一种持久的方式来描述:请求需要什么、正在请求哪些角色和任务、哪些具体端点可以满足工作、策略允许或禁止什么,以及为什么做出最终路由决策。路由器不仅仅根据模型名称进行选择,而是通过角色和任务元数据、声明的能力、路由策略以及观察到的性能,在具体端点之间进行路由。
该协议将路由分解为几个稳定的部分:请求描述任务类型、所需能力、模态、工具需求和约束;角色和任务描述工作的语义形状;端点身份和配置文件描述具体的可路由端点,而非抽象的模型名称;路由策略应用硬拒绝、偏好、预算和确定性打破平局的规则;可观测性工件记录决策、跟踪、使用情况和测量到的性能。这使得路由具有可解释性和可移植性,能够跨越不同的提供商、主机和部署形态。
参考路由器遵循一个稳定的流程:标准化请求意图,构建有效的策略快照;缩小候选集,只保留匹配请求角色、任务和策略范围的端点;应用硬性资格检查,拒绝不能满足能力、模态、工具、位置、预算或绑定要求的端点;对合格端点进行评分,使用测量证据、声明数据和中性默认值比较质量、延迟、吞吐量、成本、可靠性和偏好;最终发出可解释的路由决策,包含选中的端点、备用选项、排除项和选择理由。
当前基准角色集包括:general.chat(通用对话)、coder.patch(面向补丁的代码编辑)、coder.review(审查、批评和结构化裁决)、tool.agent(工具编排和结构化工具调用)、embedder(检索和向量生成)、classifier(标签和分类选择)以及language.detector(语言识别)。
首次设置流程包括:安装并启动打包的运行时;连接计划使用的本地或远程端点;激活模型并分配角色;对真实候选集运行完整基准测试;查看基准测试结果;选择并保存路由策略;通过实际路由请求验证并检查决策。下游客户端(如Pi)在运行时安装并配置后加入,通过OpenAI发现协议发现角色模型别名,而不是自己拥有运行时设置。这确保了路由策略的选择基于证据而非猜测。