合成データを用いた再帰的な訓練が広がるにつれ、データ不足を緩和できる一方で「モデル崩壊」のリスクが指摘されている。これは反復訓練によって分布の裾が削られ、出力が均質化していく現象である。これまでデータ選択はその有効な対策と見なされてきたが、その信頼性は検証器が用いる参照分布に決定的に依存する。ICML 2026に採択された論文「When Sample Selection Bias Precipitates Model Collapse」は、この前提が現実の多くの場面で崩れることを示している。
著者ら（第一著者のXinbao Qiao氏を含む7名）が注目するのは「低リソース検証」の状況である。そこでは各検証器が目標データ多様体のほんの一部、しかも断片化され偏った部分しか観測できない。これは人為的な極端な設定ではなく、医療コンソーシアムや独自の金融機関といったデータサイロで日常的に生じる。プライバシー規制や競争上の理由から生データを統合できず、各組織の局所的な参照分布は本質的に不完全なのである。
こうした局所的で偏った参照に基づいて選別を行うと、選択プロセス自体が偏る。検証器は局所多様体に整合するサンプルを優先的に保持し、局所的な視野の外にあるグローバルに重要な裾モードを削除してしまう。つまり、モデル崩壊を防ぐための仕組みとして期待されたデータ選択が、むしろ崩壊を早める要因へと変質するのである。
研究チームはこれを理論的に証明した。サイロ化された局所参照に基づく選択は再帰訓練の中で崩壊の発生を加速し、出力の多様性をべき乗則的に減衰させる。多様性の喪失は緩やかな線形ではなく、ある段階で急激に進むことを意味し、低リソース環境でのリスクをさらに高める。
初期の緩和策として著者らは、生データを共有せずに複数のサイロからWasserstein代理参照を構築する手法を提案する。これにより各サイロは元データを漏らすことなく、よりグローバルな代表性を持つ参照分布を得られる。実験では、局所参照に基づく選択が偏った分布で機能しない一方、協調的な代理参照が多様性の劣化を緩和することが確認された。
論文が示す結論は明快である。実データのカバレッジが断片化していたり乏しかったりする場合、再帰的な合成データパイプラインには特に注意が必要だ。データ選択は万能の保険ではなく、その背後にある参照分布が十分に完全かどうかに左右される。そしてそれこそが、多くの実応用で最も保証しにくい点なのである。本論文は第43回国際会議 on Machine Learning（ICML 2026）に採択され、人工知能分野に分類されている。