智譜公佈“降智”的秘密：Scaling不可避免的痛

要點

• 智譜在GLM-5的Coding Agent服務中遭遇亂碼、復讀和生僻字等異常，原因在於高負載下的推理狀態管理問題。
• 通過投機採樣指標（spec_accept_length）成功檢測異常，並建立了在線監控策略。
• 根因是PD分離架構下的KV Cache競態和HiCache加載時序缺失，團隊通過同步機制和流程重構修復。
• 進一步提出LayerSplit分層存儲KV Cache方案，在長上下文中吞吐量提升10%-132%。