大規模言語モデルが小型モデルでは習得できないスキルを身につける理由を研究者らが特定

新しい研究により、大規模言語モデルが小型モデルでは学習できないタスクを習得できる理由が明らかになった。頻繁なタスクが小型モデルの稀なタスクの学習を上書きするためであり、モデルサイズの拡大ではなく、訓練データ内のタスク頻度を増やすことが実用的な解決策となる。