跳到主要内容
AI News HubLIVE
站内改写4 分钟阅读

用 NVIDIA NeMo Switchyard 在 Amazon Bedrock 上为编码智能体请求路由到合适的模型

文章摘要

本文介绍如何使用 AWS CDK 部署带有 NVIDIA NeMo Switchyard 路由插件的 LiteLLM 网关,在 Amazon Bedrock 上为编码智能体任务在模型间进行路由,并以「每个已解决任务的成本」而非「每 token 价格」来评估路由效果。

来源AWS Machine Learning Blog作者: Aswath Ram A Srinivasan
用 NVIDIA NeMo Switchyard 在 Amazon Bedrock 上为编码智能体请求路由到合适的模型
报告错误

纠错通道尚未开通,可先复制下方文章信息留存。

查看更正说明
直接读正文

编码智能体(例如 Claude Code 和 OpenAI Codex CLI)是以「任务」为单位工作的。开发者提出一个修改需求后,智能体会读取文件、编辑代码并运行测试,直到任务完成。一个任务可能只需要几次模型调用,也可能需要几十次。开发者真正付费的是任务本身,而不是某一次调用。

单看每 token 的价格无法反映一个完整任务的成本。总成本取决于模型需要多少轮交互、每一轮重放多少历史上下文,以及任务被重试或最终无法完成的频率。每一次尝试都要付费,包括那些最终没有完成的任务的尝试。因此,在对编码智能体的请求进行模型路由时,应当用「每个已解决任务的成本」来衡量路由效果,即所有运行的总成本除以测试通过的任务数量。

NVIDIA NeMo Switchyard 是一个开源库,帮助 AI 智能体为每个请求选择由哪个模型来处理。你可以定义它可使用的模型以及遵循的路由策略。其 LiteLLM 集成支持两种策略:Stage 路由会读取请求历史中最近的工具活动与结果,然后在两个候选模型中选择一个;Random 路由从已配置的模型池中按可选权重进行选择,适用于流量分流和 A/B 对比。此外,LiteLLM 近期也内置了原生的 Switchyard stage router 作为 auto-router 策略,值得进一步探索。

本文使用 AWS Cloud Development Kit(AWS CDK)在你的 AWS 账户中部署 LiteLLM(一个开源的大语言模型网关)以及 Switchyard 路由插件。LiteLLM 负责调用 Amazon Bedrock 上的模型。随后,你使用示例提供的基准测试运行器,分别测量路由模型组和单模型基线组的「每个已解决任务的成本」,从而可以针对自己的工作负载评估路由效果。

需要注意:该示例从 crates.io 安装 switchyard-server 0.3.0,并运行已发布的 LiteLLM v1.102.0 镜像。NVIDIA 将 switchyard-server 0.3.0 定位为演示与评估组件,其配置可能随版本变化。本示例使用的是实验性的 Switchyard LiteLLM 集成,其配置与 API 也可能在版本之间发生变化。这是示例代码,不适用于生产环境。部署前请与安全与法务团队协作,满足组织的安全、监管与合规要求。请先在非生产账户中部署并测试,确认无误后再考虑其他用途。

解决方案架构方面,LiteLLM 与 Switchyard 插件运行在同一个容器镜像中,部署于 Amazon ECS on AWS Fargate,位于私有子网内。请求流程如下:编码智能体发送一个 OpenAI 兼容请求,其中 model 字段设为 switchyard(即由 Switchyard 路由的 LiteLLM 模型组),并在 Authorization 头中携带共享网关密钥。端点是你拥有的主机名,通过 HTTPS 访问,负载均衡器上配置 ACM 证书,且只有你允许的 IPv4 CIDR 范围可以访问。若在 Amazon Route 53 中有托管区域,Route 53 会将主机名解析到负载均衡器。AWS WAF 使用 IP 信誉、已知恶意输入和基于 IP 的速率限制规则对请求进行过滤。Application Load Balancer 仅将 /v1/chat/completions、/v1/models 和 /health/liveliness 转发到私有子网中的 ECS 任务,其他路径一律返回 404。

任务运行单个容器:内嵌 Switchyard 插件的 LiteLLM。LiteLLM 校验网关密钥后调用插件选择模型。Stage 策略在能力强的模型与成本更低的高效模型之间做选择,它会读取请求历史中的工具活动与结果,因此智能体必须发送完整对话历史。Random 策略则从加权池中选择。两种策略都不会调用评判模型。LiteLLM 随后使用任务的 IAM 角色凭证,通过 Amazon Bedrock Converse 或 ConverseStream API 调用所选模型。调用经由 Amazon VPC 中的 Amazon Bedrock Runtime 接口端点发出,因此推理流量保留在 AWS 网络内。响应或 token 流经 LiteLLM 和负载均衡器返回。响应头 x-litellm-model-name 会指明实际应答的模型,而响应体中的 model 字段仍保持为 switchyard。

LiteLLM 在容器内监听 4000 端口,是负载均衡器的目标,任务的安全组仅允许来自负载均衡器的流量。路径白名单使 LiteLLM 管理界面、API 文档和密钥管理路由不可达。Amazon ECR 存放网关镜像。AWS Secrets Manager 生成网关密钥背后的密钥,容器启动时添加 sk- 前缀。任务定义通过 LITELLM_CONFIG_TEXT 和 SWITCHYARD_CONFIG_TEXT 传递配置文件内容,启动脚本在启动 LiteLLM 前将其写入 /tmp。日志发送到单个 CloudWatch 日志组 //litellm,保留 30 天,Container Insights 收集指标。VPC 跨两个可用区,一个 NAT 网关为镜像拉取和其他 AWS 服务提供出站访问。

该插件支持 Stage 路由(需要恰好两个候选模型)和 Random 路由(需要至少两个候选模型,并按权重分流以进行 A/B 测试)。依赖分类器的策略(如 Task 和 Composite 路由)需要中间模型调用,而本集成不支持这些调用。完整目录请参阅 Switchyard 路由概览。

前置条件包括:一个非生产 AWS 账户,且 Amazon Bedrock 中可访问 Claude Opus 5.5 和 NVIDIA Nemotron 3 Super 120B,该组合已在美国东部(弗吉尼亚北部)测试;已配置凭证并指定 AWS 区域的 AWS CLI v2,且账户与区域已完成 AWS CDK 引导;Node.js 20 或更高版本、npm、支持 BuildKit 的 Docker,以及 Python 3.11 或更高版本;一个你拥有的主机名,其域名在 Route 53 中有公有托管区域,或在部署区域中有对应的 ACM 证书。如果只是做简单的 HTTP 测试,则不需要主机名和证书。

操作步骤上,首先克隆示例仓库,然后进入目录。第一步是在 LiteLLM 中定义模型组。LiteLLM 模型组是一个公开模型名背后对应一个或多个部署。示例将配置放在 profiles/ 目录下的部署配置文件中,每个配置文件将 litellm.yaml(定义模型和网关设置)与 switchyard.toml(控制 Switchyard 如何选择模型)配对。stage 配置中定义了路由组 switchyard、两个单模型基线组 claude-opus-5-5 和 nemotron-super-3-120b,并注册插件。两个候选模型共享 model_name: switchyard,因此客户端发送 "model": "switchyard",由 Switchyard 选择候选。由于 Stage 按顺序读取角色,能力强的模型应列在前面,高效模型列在后面。单模型基线组始终由各自模型应答,便于在同一部署中比较路由组与单独模型的成本与通过率。Stage 插件本身会拒绝少于两个候选的组,因此镜像注册了一个小包装器 switchyard_gateway.configured.ROUTING_PLUGIN,对有两个或更多唯一候选的组应用 Switchyard,对单模型组则直接透传。配置中该包装器注册两次:一次用于选择模型,一次用于应用 Switchyard 记录的请求变更。所有模型都使用 bedrock/converse/ 前缀,因此每个候选都经过 Amazon Bedrock Converse API,校验会拒绝其他路由。LiteLLM 的 request_timeout 设为 600 秒,与负载均衡器 10 分钟空闲超时匹配。配置文件中不包含凭证:LiteLLM 从环境变量读取网关密钥,AWS 凭证由任务角色提供。切勿在 litellm_params 下添加 aws_access_key_id、aws_secret_access_key 或 api_key 等凭证,因为堆栈会将整个 litellm.yaml 以明文形式复制到任务定义和 CloudFormation 模板中。堆栈会根据该文件推导任务角色的 Amazon Bedrock 权限。对于全局跨区域推理配置文件,基础模型资源使用 * 区域和尾部 *,因此也会匹配具有相同前缀的其他模型 ID,部署前请审查推导出的策略。global. 前缀表示全局跨区域推理配置文件,Amazon Bedrock 可能在支持商业区域中的任何位置处理这些请求。如果处理位置很重要,请改用地理配置文件或区域内模型 ID。对于 Nemotron 3 Super,配置中使用区域内模型 ID nvidia.nemotron-super-3-120b,你可以将其替换为任何模型进行测试。

第二步是配置 Stage 路由。Switchyard 从 switchyard.toml 读取算法与设置。默认的 profiles/stage/switchyard.toml 配置如下:algorithm = "stage",picker = "efficient_first",confidence_threshold = 0.5,recent_window = 3,only_on_wrong_signal_escalation = true。这些设置的含义是:picker = "efficient_first" 表示当历史信号不确定时使用高效模型;新请求尚无工具结果,因此会交给 Nemotron 3 Super。confidence_threshold 是 Stage 对执行信号评分的置信度阈值,范围 0 到 1。recent_window = 3 表示 Stage 检查最近三个工具结果。only_on_wrong_signal_escalation = true 是 Switchyard 的默认值,控制 Stage 何时添加可选的升级说明,本配置未设置说明。Stage 还接受可选的交接说明和分层系统提示(escalation_note、deescalation_note、capable_system_prompt 和 efficient_system_prompt),示例配置均未设置。如果要做 A/B 测试,profiles/random/ 中的 Random 配置使用相同模型,设置 algorithm = "random" 和 weights = [0.5, 0.5],权重按声明顺序对应每个唯一候选。要部署它,在第三步的 cdk diff 和 cdk deploy 命令中添加 -c routingProfile=random。堆栈在合成时同时校验两个文件,预检脚本也运行相同的检查。

展开要点与分析

文章情报

工程师进阶

要点

  • 编码智能体按任务工作,评估路由应看每个已解决任务的成本,而不是单个 token 的价格
  • NeMo Switchyard 支持 Stage 路由(在能力强模型与高效模型间二选一)和 Random 路由(按权重分流做 A/B 测试)
  • 示例使用 AWS CDK 在 ECS Fargate 上部署 LiteLLM 与 Switchyard 插件,通过 Bedrock Converse API 调用模型
  • 该示例为实验性、非生产用途代码,配置和 API 可能随版本变化

要点与分析由自动化流程生成,可能有误,请结合原始来源核实。