「知能低下」の秘密：スケーリングの不可避な痛みを智譜が公開

要点

• 智譜はGLM-5のCoding Agentタスクで、高負荷下の推論状態管理に起因する出力異常（乱文、繰り返し、珍しい文字）に遭遇した。
• 投機的デコード指標（spec_accept_length）を用いて異常を検出し、オンラインモニタリング戦略を確立した。
• 根本原因はPD分離アーキテクチャにおけるKVキャッシュの競合状態とHiCacheのロードタイミング欠陥であり、同期メカニズムとプロセス再構築により修正された。
• 新しい階層型KVキャッシュストレージ方式LayerSplitにより、長いコンテキストでスループットが10%～132%向上した。