OpenMythosを使用したリカレント深度トランスフォーマーの構築：MLA、GQA、スパースMoE、ループスケーリング推論

このチュートリアルでは、OpenMythosライブラリを使ってGoogle Colabでエンドツーエンドのリカレント深度トランスフォーマーワークフローを構築します。MLAとGQAの2つのアテンションバリアントを作成し、パラメータ数を比較し、リカレント注入行列の安定性をスペクトラル半径で確認します。合成構成推論タスク（桁の連鎖の法付き和を予測）でモデルを訓練し、リカレントループが固定パラメータモデルでより深い計算を可能にする方法を研究します。推論時にループ回数を増やすことで、パラメータを変えずに推論深度が向上することを示します。