跳到主要内容
AI News HubLIVE
站内改写6 分钟阅读

影响Amazon Bedrock成本的四个推理选择

文章摘要

即使优化了提示词和应用逻辑,Amazon Bedrock的推理账单仍可能持续攀升。请求级别的四个选择——缓存时长、服务层级、推理努力和maxTokens——会改变服务处理的token数量及适用费率。本文展示了如何测试每一项并验证其效果。

来源AWS Machine Learning Blog作者: Sai Pavan Kasani
影响Amazon Bedrock成本的四个推理选择
报告错误

纠错通道尚未开通,可先复制下方文章信息留存。

查看更正说明
直接读正文

即使你对提示词和应用逻辑进行了调优,Amazon Bedrock的推理账单仍可能继续攀升。请求级别的选择依然会改变服务处理的token数量以及适用的费率。缓存时长、服务层级、推理努力和maxTokens可以在不更改模型或提示词的情况下影响成本。

每个选择都取决于模型和工作负载。本文展示了我们如何测试每个选择,以及如何从响应元数据、日志和账单数据中验证其效果。

要自行尝试这些设置,可以从Amazon Bedrock Samples的Mixed TTL Caching和Tenant Isolation with Prompt Caching笔记本开始。关于maxTokens和推理努力,请参阅sample-code-for-genai-cost-management-workshop GitHub仓库的01-low-effort文件夹。每个示例都设置了自己的模型ID,因此请更改它和推理参数以匹配你调用的模型。关于按AWS区域划分的模型可用性,请参阅Models at a glance。对于模型选择、批量推理、路由和蒸馏等更广泛的决策,请参阅《Effective cost optimization strategies for Amazon Bedrock》。

推理成本从何而来

每个Amazon Bedrock响应都带有使用元数据。输入和输出token按照服务请求的模型和层级费率计费。缓存读取和写入使用单独的token计数器,推理token按输出token计费。

提示缓存时长

重复的系统指令、工具定义或参考上下文如果在下次请求前缓存过期,就会被重新处理。Prompt caching for faster model inference指南列出了支持的Anthropic模型的5分钟和1小时生存时间(TTL)值。它还列出了支持的GPT-5.6模型的最低30分钟TTL。支持和API字段因模型而异,因此选择时长前请检查当前支持矩阵。

对于支持的模型,Amazon Bedrock还提供隐式提示缓存,它尝试在请求中不使用缓存控制的情况下重用符合条件的提示前缀。由于隐式缓存是尽力而为且不保证缓存命中,本节中的时长选择适用于显式缓存。

此Converse API签名在支持它的模型上请求1小时条目:

{ "cachePoint": { "type": "default", "ttl": "1h" } }

对于支持的Anthropic模型,InvokeModel将相同的ttl值放在cache_control中。

更长的时长并不自动更便宜。Amazon Bedrock定价页面列出了5分钟写入、1小时写入和缓存读取的单独费率。对于Amazon Bedrock上的Anthropic Claude Sonnet 5和Anthropic Claude Opus 5,5分钟写入成本是输入费率的1.25倍。1小时写入成本是2倍,缓存读取成本是0.1倍。

这些费率设定了盈亏平衡点,假设每个请求重用完全相同的前缀,且每个缓存读取都刷新TTL。5分钟缓存在5分钟内第一次重用时就能收回成本。当相同前缀的请求间隔超过5分钟时,每次请求都会以1.25倍重写。此时1小时缓存在一小时内第二次请求时更便宜。

缓存费率和检查点最小值因模型而异。请查看你调用的模型的Amazon Bedrock定价页面和提示缓存指南。对你的模型重新运行比较,然后在部署后通过缓存读取和写入token进行确认。

将稳定内容放在动态内容之前,满足模型的检查点最小值,并使用按需推理,因为提示缓存不适用于批量推理。

更改缓存前缀(包括系统指令或工具定义)会导致未命中并产生新写入。检查点按工具、系统、消息的顺序评估,因此较早部分的更改也会使后续部分无效。对经常更改的提示进行版本控制,以便每个版本获得自己的缓存条目。我们在Claude Sonnet 5上以1小时检查点运行了六次调用,分别更改了一次系统提示和一次工具定义。每次更改都产生了零缓存读取和一次新写入。

AWS将缓存条目描述为范围限定在你的账户和区域,而不是你的租户。在多租户应用程序中,在可缓存前缀前添加租户特定的SHA-256哈希。Optimizing cost and latency with Amazon Bedrock prompt caching for Anthropic models文章描述了此模式。在构建提示之前强制执行租户授权。哈希在同一账户内分区条目。如果受监管的工作负载需要硬数据边界,请将每个租户放在单独的AWS账户中。

对于频繁重用,保留5分钟默认值。当相同前缀每小时至少出现两次且间隔超过5分钟时,迁移到支持的更长时长。要胜过完全不缓存,1小时缓存需要每小时三次请求。

面向延迟容忍工作负载的服务层级

后台作业、评估工具、夜间摘要和回填并不总是需要交互式请求所使用的延迟配置文件。对于支持Flex的模型,使用此请求签名选择它:

{ "serviceTier": { "type": "flex" } }

使用default而不是standard来请求Standard层级。你也可以省略serviceTier:

{ "serviceTier": { "type": "default" } }

层级支持因模型而异,因此请按确切的模型版本记录支持情况。Amazon Nova 2 Lite和OpenAI gpt-oss-120b模型卡将Flex列为支持。Amazon Bedrock上的Anthropic Claude Sonnet 5和Anthropic Claude Opus 5的模型卡将其列为不支持。向不支持的模型发送Flex请求会失败并返回ValidationException,而不是静默地在Standard上运行。我们对Anthropic Claude Sonnet 5的请求返回了该错误。

如果你的策略允许Standard作为回退,请捕获不支持的层级错误并用default重试一次。不要重试每个ValidationException,因为格式错误的请求也会引发它。限制应用程序级重试。AWS SDK的有界重试策略处理节流和瞬态错误。

为Flex请求设置你自己的截止时间。支持的响应会报告解析后的层级,你也可以通过Amazon CloudWatch ResolvedServiceTier验证。请参阅Service tiers for optimizing performance and cost以及你调用的确切模型的Amazon Bedrock定价页面。

我们在Amazon Nova 2 Lite上测试了Flex,发送了200个默认请求和200个flex请求,以交错对的形式发送。两个层级处理的输入和输出token数量相同。所有400个请求都解析到请求的层级,中位延迟差异太小,无法与噪声区分。在撰写本文时,us-west-2中Nova 2 Lite的已发布Flex费率是Standard费率的一半,我们的账单反映了这一点。请查看Amazon Bedrock定价页面了解当前费率。将延迟敏感的流量保持在default上。

自适应思考努力

推理token按输出token计费。Claude Sonnet 5和Claude Opus 5默认在高努力下使用自适应思考,即使请求省略了thinking字段。从Claude Sonnet 4.6迁移过来且未做更改的应用程序会开始计费思考token,而maxTokens现在限制思考加响应文本。Claude Haiku 5.5默认为中等。所有三个模型都支持low、medium、high、xhigh和max。使用此请求签名降低任务的努力:

{ "thinking": { "type": "adaptive" }, "output_config": { "effort": "low" } }

将努力放在output_config中,而不是thinking内部。每当更改模型时检查Adaptive thinking。

我们在Claude Opus 5上测试了一个工具调用代理。它的三个任务遵循《Build long-horizon agents with Grok 4.7 on Amazon Bedrock》中的设计,每个任务都有一个正确答案。我们在每个努力级别上对每个任务运行了八次。表格显示了中位输出token:

努力 正确运行次数 中位输出token 与low的变化(95%区间)

low 24/24 936 基线

medium 24/24 1,484 +59%(50%至78%)

high(默认) 24/24 2,521 +169%(112%至190%)

xhigh 24/24 2,964 +217%(170%至260%)

max 24/24 3,762 +302%(180%至402%)

较低努力下的准确性取决于模型和任务。在类似你任务的任务上进行测量。

在Amazon Bedrock Samples的Invoke Bedrock model for code generation workload上,中位输出token在low时为676,在high时为743,差异在运行间变化范围内。我们评分的程序在每个努力级别都通过了。

使用每请求输出token计数、CloudWatch AWS/Bedrock OutputTokenCount、调用日志和任务通过率来评估选择。对于常规、边界明确的任务,从低于high开始。在质量测试表明任务需要的地方保持high。破坏任务的token减少不是节省。

输出token限制

maxTokens是应用程序输出上限。它限制错误提示、回归或循环在请求停止前可以产生的输出。配额规则记录在《How tokens are counted in Amazon Bedrock》中。Amazon Bedrock在请求开始时扣除你的输入token加上maxTokens,因此过大的值会降低并发性。

输出上限不是安全控制。在生产生成式AI工作负载中,将Amazon Bedrock Guardrails作为标准负责任AI控制使用。Guardrails可以过滤内容、检测提示攻击,并在支持的输入和响应上检查接地性。请参阅《Detect and filter harmful content by using Amazon Bedrock Guardrails》。

在观察代表性输出token分布后,按任务类型设置maxTokens:

{ "inferenceConfig": { "maxTokens": 155 } }

请参阅Inference using Converse API了解请求参数。

在我们对Claude Sonnet 5的测试中,五个正常输出的峰值达到103个token,因此我们设置了一个说明性的155个token围栏,并留有裕量。然后我们发送了相同的故意冗长提示,禁用自适应思考,一次在2,048个token上限下,一次在155个token围栏下。第一个请求生成了2,048个输出token,第二个生成了155个,因此围栏避免了1,893个输出token。两者都在max_tokens处停止,因此两个响应都被截断。围栏限制了支出,但并不能使不合适的提示变得有用,而且在多轮或代理链中,截断的一轮可能会破坏后续步骤。

对于生产校准,比较每种任务类型的第95和第99百分位数(P95和P99),并在所选百分位数上增加裕量。开启自适应思考时,maxTokens也限制思考token,因此在校准时要启用思考。P95更积极地限制暴露,但接受更高的截断风险。P99在更高的上限下保留更多有效的长尾响应。监控max_tokens停止,并在提高任务限制之前调查请求。

综合运用

对每个设置使用相同的测试循环:确认模型支持,更改一个请求选择,测量token或成本,并跟踪质量或完成情况。如果你跨模型路由,请为每个模型版本、区域和API保留能力记录:支持的缓存时长、服务层级、推理级别和输出上限。在发送每个请求之前根据该记录进行验证,然后检查响应中的解析层级和缓存计数器。

设置 默认或宽松状态 结果 需接受的风险

缓存时长 模型特定的TTL 根据已发布的Sonnet 5和Opus 5费率,当间隔超过5分钟时,1小时缓存从每小时第二次请求开始胜出 1小时写入成本是输入的2倍,因此低重用会亏钱。分区租户前缀

服务层级 default 在撰写本文时,Nova 2 Lite Flex的发布费率是Standard费率的一半,我们的账单与之匹配 处理时间更长。设置你自己的截止时间和回退

推理努力 测试的自适应模型上为high 低到高:在代理测试中中位输出token增加169%,在代码生成上没有可靠差异 质量可能在任务能力边界附近下降。用token跟踪通过率

maxTokens 宽松的2,048 token上限 在一个测试中,说明性的155 token围栏避免了1,893个输出token 截断可能在多轮或代理链中级联。在重试前检查stopReason

[为AI成本控制而截断]

展开要点与分析

文章情报

工程师进阶

要点

  • 缓存时长、服务层级、推理努力和maxTokens会直接影响token用量与计费费率。
  • 更长的缓存时长并非总是更便宜,需根据请求频率和间隔计算盈亏平衡点。
  • Flex服务层级可降低延迟不敏感工作负载的成本,但需注意模型支持和回退策略。
  • 推理努力从低到高可能增加数倍输出token,需在质量与成本间权衡。

要点与分析由自动化流程生成,可能有误,请结合原始来源核实。