AI模型協同設計：硬件友好的LLM設計

AI性能通常由三個關鍵維度決定：準確性（模型推理和輸出結果的能力）、吞吐量（數據中心每秒生成的令牌數）和交互性（用户感知的響應速度，主要由延遲決定）。實際部署中，必須平衡這三個維度：如果響應緩慢，即便準確性再高也無濟於事；而如果每個用户的體驗都出現卡頓，原始吞吐量再高也意義不大。因此，實用的系統需要同時優化準確性、吞吐量和交互性。

本文重點探討吞吐量和交互性，以及模型設計選擇如何在不犧牲準確性的情況下優化這兩個維度（我們會在必要時指出準確性方面的權衡）。在保持準確性不變的前提下，問題轉化為一個二維帕累託前沿：改進一個方面通常會在另一個方面付出代價。目標是推動整個前沿向外擴展，從而最大化曲線下的面積（如圖1所示）。

圖1. 系統吞吐量與交互性的帕累託前沿