智谱公布“降智”的秘密：Scaling不可避免的痛

要点

• 智谱在GLM-5的Coding Agent服务中遭遇乱码、复读和生僻字等异常，原因在于高负载下的推理状态管理问题。
• 通过投机采样指标（spec_accept_length）成功检测异常，并建立了在线监控策略。
• 根因是PD分离架构下的KV Cache竞态和HiCache加载时序缺失，团队通过同步机制和流程重构修复。
• 进一步提出LayerSplit分层存储KV Cache方案，在长上下文中吞吐量提升10%-132%。