コンテキストが埋まるにつれてMTPの最適ポイントが移動：Strix Haloにおけるフルコンテキストベンチマーク

本記事では、Strix Haloハードウェアにおいて、コンテキスト長の増加に伴いMTP（マルチトークン予測）の最適なドラフト深度がどのように変化するかを調査します。著者は様々なコンテキスト深度でデコード性能をベンチマークし、MTPの受入率は一定である一方、検証コストがコンテキストとともに増加し、最適深度が低下することを発見しました。また、ROCmとVulkanのバックエンドを比較し、長いコンテキストワークロードにおけるプリフィル時間の重要性を強調しています。