AI News HubLIVE
站内改写3 分钟阅读

如何在削减团队规模的同时压缩Token预算

英伟达CEO黄仁勋提出了一个评估工程师价值的测试:如果一位年薪50万美元的工程师每年使用的AI Token价值不到其薪水一半,他会感到“深切担忧”。他透露英伟达正朝着每年20亿美元的Token账单迈进。这一观点揭示了企业在AI投入与人力成本之间的权衡。尽管许多公司通过裁员来资助AI支出,但Gartner调查显示,约80%的企业在裁员后并未获得相应的回报。文章还探讨了通过缓存、模型路由、RAG等方式优化Token开销的方法,并强调保留人才的重要性。

来源Artificial Intelligence News作者: Dashveenjit Kaur

英伟达首席执行官黄仁勋在GTC 2026闭幕之际接受All-In Podcast采访时,提出了一项评估工程师价值的独特标准:如果一位年薪50万美元的工程师每年消耗的AI Token价值不足其薪水的一半,他会“深感忧虑”。他证实,英伟达正致力于为其工程团队实现每年20亿美元的Token支出目标。

黄仁勋所描述的,正是许多企业已悄然做出的权衡:曾经支付给人力的资金,正越来越多地流向Token费用。四大超大规模云服务商2026年的资本支出合计约7000亿美元,几乎是去年的两倍。与此同时,再就业公司Challenger, Gray & Christmas的数据显示,AI已连续四个月成为美国企业裁员的首要原因。

Meta内部备忘录显示,今年5月裁减8000个岗位是为了抵消公司的巨额投资——该季度其营收增长了33%。这些公司的裁员并非生存之举,而是为了融资。问题在于,融资并未带来预期的回报。Gartner对350位年收入超10亿美元企业高管的调查发现,约80%的公司裁减了员工,却未发现与投资回报率有任何关联。分析师Helen Poitevin直言:“裁员或许能腾出预算空间,但不会创造回报。”

Uber则从另一个角度体验了Token的教训:去年12月为5000名工程师提供AI编码工具后,到今年4月就已耗尽2026全年的AI预算。首席运营官Andrew Macdonald承认,尽管70%的已提交代码由AI生成,但这些与客户能感知的体验之间尚缺乏关联:“这种联系目前还不存在。”

将这两个失败案例放在一起,真正的问题便浮出水面:企业将Token费用视为固定支出,而将人力视为可调节的柔性资源,但事实恰恰相反。裁员是一次性的,且会带走机构知识。而Token预算,只要有人愿意优化,其实可以在多个环节上压缩。

Token预算的弹性空间

最简单的优化也是最不引人注目的:避免重复支付处理相同文本的费用。提示缓存如今已成为主流API供应商的标准功能,根据Anthropic和OpenAI的公开定价,它能将重复输入的Token费用降低高达90%,因为静态内容(如系统指令和参考文档)只需处理一次,再次读取时费用极低。

安全公司ProjectDiscovery记录了其通过重构提示,将缓存命中率从7%提升至84%,从而将LLM总支出削减了59%至70%。这一项工程改造所节省的预算,已超过大多数因AI而裁员的公司所节省的金额。

下一个杠杆是将任务路由到适当规模的模型。供应商的定价表显示,旗舰模型每Token的费用是较小模型的五倍,而许多生产工作负载却默认使用最昂贵的模型处理日常分类和摘要任务。批处理可为不需要实时响应的任务提供额外50%的折扣。

检索增强生成(RAG)则从另一个角度解决问题:仅向模型传递知识库中相关的片段,而非全部内容。提示压缩则去除了每次调用中冗余的示例。开源模型可进一步降低成本,对于愿意自行管理基础设施的团队,它们处理日常任务的价格仅为前沿API价格的一小部分。

优化的另一半是人

优化Token账单只有在节省的资金用于生产性用途时才有意义。最有力的证据表明,这些资金应用于人力投入。Poitevin的研究发现,那些提高投资回报率的组织,是利用AI增强而非取代员工的企业。

Klarna进行了一场公开实验:用基于OpenAI的AI助手取代了约700个客服岗位,之后客户满意度却下降了。首席执行官Sebastian Siemiatkowski告诉彭博社,很少有高管会承认这一点:“结果质量下降,这不可持续。”这家金融科技公司如今采用混合模式:AI处理常规事务,而重新雇用的员工负责需要判断力的工作。Gartner预计这种模式将普及,并预测到2027年,一半因AI而裁减客服员工的公司将重新雇用他们。

有一个劳动力投资因优化逻辑而变得紧迫。斯坦福大学人本AI研究所发现,2024年以来,22至25岁软件开发人员的就业率下降了近20%,而年长群体的就业率却在增长。这意味着企业正在拆除未来五年需要他们指导这些系统的资深工程师的培养基地。

一家刚刚通过工程手段将Token账单削减60%的公司,完全有预算空间继续招聘初级员工。是否这样做,是一个领导力决策,而非财务决策。

黄仁勋的言论将在财报电话会议中持续回响,资本支出数字也将继续攀升。最终胜出的公司,不会是那些在Token上投入最多或为支付Token费用而裁员最多的公司,而是那些意识到Token预算才是弹性空间、通过工程而非裁员来压缩它,并将节省的资金投入到让Token变得有价值的人身上的公司。