Felipe Chavarro Polania による本論文は、計算予算が限られた状況で共有アクセラレータ上に多数の候補レシピを並べ、大きな探索予算を使う前に効率よく選別するにはどうすべきかという実務的な問いを扱う。著者は、段階的な部分因子計画(fractional-factorial)ワークフローが、この設定で安定した初期効果構造を回復できるかどうかを検証している。
実験は、自動研究由来の固定された単一GPU学習ループ上で行われた。合計613回の実験があり、2分、5分、10分のパイロットおよびフォローアップスクリーニング、5分と10分での16条件のシード付き完全再実行、対象を絞ったシード付きアンカーチェック、同一ホスト上の貪欲法ベースラインとコストを合わせたランダムベースライン、60分のブリッジパッケージ、さらにWindows A100とLinux L40S上で24時間まで続ける有界アンカー継続が含まれる。短い予算で早期シグナルを捉えつつ、それが長時間・異種ハードウェアでも成立するかを確かめる構成である。
第一の結果として、総バッチサイズ、深さ、幅に由来する主なペナルティは短い予算で最も大きく、予算が増えるにつれて緩和されることが確認された。つまり短時間スクリーニングは、高ペナルティ方向を素早く排除する用途に向いている。一方、事前に宣言されたシード付きフルスクリーン族のうち、予算内のBenjamini-Hochberg補正後も5分と10分で非ゼロ推定を保持したのはD、A、B、Cであり、Eは保持しなかった。部分因子構造が早期に安定した信号を捉えることを示すが、すべての候補族が同じように信頼できるわけではない。
ランダム探索との比較も興味深い。32条件空間においてランダム探索は強い incumbent に到達できるが、それは同じ低ペナルティ領域に繰り返し入る形であり、因子帰属を得られない。つまり偶然良い結果に当たっても、なぜ良いのかを説明できず、新しい探索空間への移転も難しい。設計されたスクリーニングの価値は、単発の最良値ではなく、解釈可能な方向性情報を提供する点にある。
長時間側では、60分ブリッジアンカーが平均で最低だったが、著者はこのパッケージがワークフローの洗練と、より大きなブリッジモデル自体の容量優位を分離できないと慎重に述べる。続くWindows A100とLinux L40S上の12時間・24時間の3アンカー有界継続でも、ブリッジの標本平均は最低だった一方、非ブリッジ間の順序はホスト依存であった。したがって、24時間・2ホストという範囲でブリッジ中心の推奨は支持されるが、ハードウェア不変の順位付けや一般的なハイパーパラメータ最適化における優越性を主張するものではない。
結論として示されるのは有界な方法論である。短い設計スクリーニングで高ペナルティ方向を特定し、有望なアンカーを反復実行で確認し、縮小された空間内で局所的に絞り込む。著者は、証拠が支持するのは24時間・2ホストまでのブリッジ中心の推奨であり、ハードウェア不変の順位付けや汎用的なハイパーパラメータ最適化の優越性ではないと明示している。予算制約付きマイクロ事前学習の実践者にとって、このワークフローは実験のトリアージ手法として有用だが、その適用範囲には注意が必要である。