智譜公佈“降智”的秘密：Scaling不可避免的痛

要點

• 智譜在GLM-5的Coding Agent服務中遭遇亂碼、復讀和生僻字等異常，原因在於高負載下的推理狀態管理問題。
• 透過投機取樣指標（spec_accept_length）成功檢測異常，並建立了線上監控策略。
• 根因是PD分離架構下的KV Cache競態和HiCache載入時序缺失，團隊透過同步機制和流程重構修復。
• 進一步提出LayerSplit分層儲存KV Cache方案，在長上下文中吞吐量提升10%-132%。