xFormersを使ったメモリ効率の良いTransformerの構築方法：パックシーケンス、GQA、ALiBi、SwiGLU、因果的注意

このチュートリアルでは、xFormersツールキットを使用してGPU上で高速でメモリ効率の良いTransformerモデルを構築する実践的な方法を解説します。メモリ効率的な注意機構と標準的な注意機構の検証から始め、異なる系列長における速度とメモリ消費の比較、因果的マスキング、可変長系列のパッキング、グループ化クエリ注意（GQA）、カスタムALiBiバイアスを扱います。最後に、これらの技術を組み合わせて、SwiGLUフィードフォワード層と自動混合精度学習による学習可能なGPTスタイルのモデルを構築します。