機械学習の歴史の大半において、データは地質学のように扱われてきました。データはすでに世界のどこか—書籍、ウェブサイト、コードリポジトリ、会話、写真、データベース—に存在していました。研究者の仕事はそれを発掘し、クリーニングし、トークン化し、モデルに与えることでした。
大規模言語モデルはこの関係を変えました。能力のあるモデルは単なるデータの消費者ではありません。疑問、回答、説明、批評、嗜好ラベル、ツールの痕跡、教科書、コード演習、そしてミニチュアのカリキュラム全体を生成することができます。
これにより、新しい訓練の基本要素が生まれました。高価なモデルに永遠にすべてのプロダクションクエリに回答させる代わりに、より小さなモデルが学ぶための経験を製造させるのです。教師はオフラインで動作します。その出力はデータセットになります。データセットが生徒を訓練します。教師は推論時には姿を消しますが、その振る舞いの一部は生徒に埋め込まれたままです。
これが合成データによる蒸留です。