最近の論文「Decomposing Evolutionary Mixture-of-LoRA Architectures: The Routing Lever, the Lifecycle Penalty, and a Substrate-Conditional Boundary」は、進化的混合LoRAシステムの詳細な分解研究を実施した。このシステムは、約1.5億パラメータのスクラッチから訓練された拡幅D基板(D=1536、V=32000、D/V約0.048、「widened-1536」基板)に基づいている。研究者らはシステムを3つの要素に分解した:ルータ書き換え(並列シグモイドゲート、学習可能なアダプター別下限、温度アニーリング付き、トークン埋め込み平均ではなくスタック後隠れ状態を入力)、ドメイン別1個抜き評価範囲、そしてライフサイクル(死亡、アルファブレンド継承、SVD変異、スロット再割り当て)。
5/8部分2^3要因実験(n=3シード、各セル25000適応ステップ)により、明確な帰属連鎖が明らかになった。ルータ書き換えは、完全な進化システム対静的B3ベースライン(+0.0426 nat平衡対数パープレキシティ改善、Delta=log PPL_ref - log PPL_test、正値は改善、t=12.86、p=0.006)に帰属される改善全体を単独で担った。しかし、完全システム対B3のヘッドラインコントラスト自体は+0.015 nat(t=1.94、p=0.19、n=3)であり、alpha=0.05をクリアしなかった。
ドメイン別評価範囲はシード分解能で有意な効果を示さなかった。一方、ライフサイクルは正味のドラッグであり、主連鎖で約-0.028 nat(t=-4.46、p=0.047)であった。補助的なalpha=0継承反実仮想実験(n=3シード)はヘッドラインメトリックで符号が一貫せず、等価性または負荷支持結論のいずれにも統計的に不十分であった(この結果は、早期の算術平均集約器が誤って継承を有意としたものを訂正したもの。付録B.11参照)。
基板摂動プローブは、ライフサイクルの役割を「ゲノムコンテキスト」と再解釈することを方向的に否定した。制御可能な合成サンドボックスは、ルーティングチャネル上の進化的探索が、アダプタがタスクに事前調整されている場合にのみ負荷支持的であり、試験された他のすべての体制では、勾配解法を下回る、同等、または積極的に劣化させるという基板条件付き境界を特定した。
この研究は、進化的混合LoRAシステムにおける各コンポーネントの異なる貢献を強調し、進化的探索の有効性の重要な条件を指摘しており、将来のより効率的なモデル設計に重要な示唆を提供する。