AI模型協同設計：硬體友好的LLM設計

AI效能通常由三個關鍵維度決定：準確性（模型推理和輸出結果的能力）、吞吐量（資料中心每秒生成的令牌數）和互動性（使用者感知的響應速度，主要由延遲決定）。實際部署中，必須平衡這三個維度：如果響應緩慢，即便準確性再高也無濟於事；而如果每個使用者的體驗都出現卡頓，原始吞吐量再高也意義不大。因此，實用的系統需要同時最佳化準確性、吞吐量和互動性。

本文重點探討吞吐量和互動性，以及模型設計選擇如何在不犧牲準確性的情況下最佳化這兩個維度（我們會在必要時指出準確性方面的權衡）。在保持準確性不變的前提下，問題轉化為一個二維帕累託前沿：改進一個方面通常會在另一個方面付出代價。目標是推動整個前沿向外擴充套件，從而最大化曲線下的面積（如圖1所示）。

圖1. 系統吞吐量與互動性的帕累託前沿