使用OpenMythos构建循环深度Transformer：MLA、GQA、稀疏MoE与循环缩放推理

本教程介绍如何利用OpenMythos库在Google Colab中构建端到端的循环深度Transformer工作流。我们创建了MLA和GQA两种注意力变体，比较参数量，并通过谱半径检查循环注入矩阵的稳定性。在合成组合推理任务（预测数字链模固定值的和）上训练模型，研究循环循环如何使单一模型重用参数进行更深层次的计算。最终展示在推理时增加循环次数如何在不改变参数的情况下提升推理深度。