使用OpenMythos構建循環深度Transformer：MLA、GQA、稀疏MoE與循環縮放推理

本教程介紹如何利用OpenMythos庫在Google Colab中構建端到端的循環深度Transformer工作流。我們創建了MLA和GQA兩種注意力變體，比較參數量，並通過譜半徑檢查循環注入矩陣的穩定性。在合成組合推理任務（預測數字鏈模固定值的和）上訓練模型，研究循環循環如何使單一模型重用參數進行更深層次的計算。最終展示在推理時增加循環次數如何在不改變參數的情況下提升推理深度。