Forward-Forward（FF）学習は、Hinton（2022）によって提案された、逆伝播（BP）の代わりに層ローカルな「グッドネス」更新を用いる訓練パラダイムである。近年の畳み込みニューラルネットワークを用いたFF手法は32x32サイズのベンチマークでBPとの差を縮めており、層ローカル学習が現実的なスケールで viable な代替手段になりつつあるかどうかが注目されている。本研究では、動的温度グッドネス、分離正規化、多層融合を組み合わせたDTG-FFを開発し、9つの実データベンチマークでFF系列の最先端性能を達成した（CIFAR-10で91.8%、ImageNet-100 224x224で初のFFベースライン）。しかし、このツールを用いて層ローカル学習の実際のスケーラビリティを評価したところ、以下の3つの重要な限界が明らかになった。
第一に、実データでのスケーリングにおいて、同一アーキテクチャと訓練設定を用いたBP-DeepSupベースラインはCIFAR-10とCIFAR-100でそれぞれ2.40および5.93ポイント高い精度を示し、クラス数が増加するにつれてその差は拡大した。224x224解像度ではDTG-FFの精度は49.4%にとどまり、典型的なBPの75%以上（Tianら, 2020）を大幅に下回った。これは32x32ベンチマークでは見えない実データ性能の天井を露呈している。
第二に、合成タスクと実タスクでは相反する結果が得られた。合成教師-学生タスクではクラス数Kの増加に伴いDTG-FFがBPを上回ったが、実画像ではFFとBPの差は逆転し、Kが大きくなるほど拡大した。CIFAR-100データセット内の粗粒度と細粒度分類を比較した実験により、合成タスクは出力次元と細粒度識別の困難さを混同し、FFの転送可能性を過大評価していることが明らかになった。
第三に、システム監査の結果、FFはメモリ優位性を主張しているが、公平な比較では成立しない。FFは全ネットワークの活性値を保存する必要がないものの、一般的な8 GBハードウェアでは、標準的なBP＋勾配蓄積が4.18 GBのメモリ使用量で157 imgs/sのスループットを達成するのに対し、DTG-FFは7.90 GBを消費し138 imgs/sにとどまった。したがって、この規模でのメモリに基づくFFの正当性は支持されない。
本研究は、FF手法が合成環境では優れた性能を示すものの、実データ、高解像度、多クラスシナリオではBPに大きく劣ることを強調している。今後の層ローカル学習研究は、合成ベンチマークの楽観的な結果に依存するのではなく、これらの限界に正面から取り組む必要がある。本論文は「Synthetic Benchmarks Overstate Forward-Forward Scaling: Real-Data Limits of Layer-Local Training」としてarXivプレプリント（2606.06539）に掲載されている。