最初のトークンまでの時間（TTFT）の測定方法

要点

• TTFTはLLM APIのユーザー知覚応答性を測定する指標で、HTTP応答時間とは異なります。
• LLM APIはSSEまたはチャンク転送エンコーディングでトークンをストリーミングするため、ストリーム対応のクライアントが必要です。
• PythonとNode.jsでの正確なTTFT測定コード例を提供し、高解像度タイマーの使用を強調しています。
• 一般的な落とし穴として、低解像度タイマーの使用、ストリーミングの無効化、単一ユーザー同時実行テスト、プロンプト長の無視などがあります。