AI性能通常由三个关键维度决定：准确性（模型推理和输出结果的能力）、吞吐量（数据中心每秒生成的令牌数）和交互性（用户感知的响应速度，主要由延迟决定）。实际部署中，必须平衡这三个维度：如果响应缓慢，即便准确性再高也无济于事；而如果每个用户的体验都出现卡顿，原始吞吐量再高也意义不大。因此，实用的系统需要同时优化准确性、吞吐量和交互性。
本文重点探讨吞吐量和交互性，以及模型设计选择如何在不牺牲准确性的情况下优化这两个维度（我们会在必要时指出准确性方面的权衡）。在保持准确性不变的前提下，问题转化为一个二维帕累托前沿：改进一个方面通常会在另一个方面付出代价。目标是推动整个前沿向外扩展，从而最大化曲线下的面积（如图1所示）。
图1. 系统吞吐量与交互性的帕累托前沿