AIの中心にあるデータのブラックホール

この記事では、サンプル効率（AIが学習に必要とするデータ量）はほとんど改善されておらず、進歩はデータと計算の大規模な拡大によるものであると論じています。人間の専門家データは高度に特化かつ膨大であり、データがAI進歩の主要な推進力であり、オープンソースモデルが急速に追いつくことを可能にしています。非効率にもかかわらず、一般的なタスク向けのAI訓練は経済的に成り立ちますが、分布外の推論は未解決のままです。