如何使用xFormers构建内存高效的Transformer：打包序列、GQA、ALiBi、SwiGLU和因果注意力

本教程详细介绍了如何使用xFormers工具包在GPU上构建快速、内存高效的Transformer模型。我们从验证内存高效注意力与标准注意力的对比开始，然后比较不同序列长度下的速度和内存消耗。接着探讨了因果掩码、变长序列打包、分组查询注意力（GQA）和自定义ALiBi位置偏置。最后，我们将这些技术组合成一个可训练的GPT风格模型，包含SwiGLU前馈层和自动混合精度训练。