AIのパフォーマンスは、精度（モデルが推論し出力を生成する能力）、スループット（データセンターが1秒間に生成できるトークン数）、インタラクティビティ（ユーザーが感じる応答性、主にレイテンシによって決まる）の3つの次元に依存します。実際の展開では、これら3つをバランスする必要があります。応答が遅ければ高精度は無駄になり、各ユーザーのエクスペリエンスが遅延すれば、生のスループットもほとんど意味をなしません。したがって、実用的なシステムは精度、スループット、インタラクティビティを同時に最適化する必要があります。
本稿では、スループットとインタラクティビティに焦点を当て、精度を犠牲にすることなくモデル設計の選択がどのように両方を形成するかを考察します（精度とのトレードオフが生じる場合はそれを明示します）。精度を固定した場合、問題は2次元のパレートフロンティアとなり、一方を改善するともう一方にコストがかかることが一般的です。目標はフロンティア全体を外側に押し広げ、曲線下面積を最大化することです（以下の図1参照）。
図1. システムスループットとインタラクティビティのパレートフロンティア