アライメント、モデル生物、おもちゃモデル間の共有SFT教訓

教師ありファインチューニング（SFT）は、機械学習において広く使われる手法であり、アライメント訓練、モデル生物、おもちゃモデルなど様々な分野で応用されています。しかし、これらの分野は通常、独立した研究領域として扱われ、知見の共有が十分に行われていません。最近の研究「Shared SFT Lessons Across Alignment, Model Organisms, and Toy Models」では、異なる分野のプロジェクトが同じ目標を追求する場合、ある分野で得られたSFTの教訓が他の分野にも転用可能であることを示しています。この研究は、3つの実験を通じてその仮説を検証しました。

最初の実験は、行動の一般化に焦点を当てています。研究者は、アライメント訓練から得られた教訓——行動の理由を訓練する方法（Teaching Claude Whyなど）——をおもちゃモデルに応用しました。その結果、行動の例だけを訓練するよりも、理由を訓練することで一般化能力が大幅に向上することがわかりました。この結果は、SFTにおいて行動の理由を強調することの重要性を示しています。

2番目の実験は、能力保存に関するものです。モデル生物の研究では、学生モデル以外の出力（オフモデル出力）を用いたSFTが能力を損なう可能性があります。この問題を軽減するため、研究者は良性のオンモデルデータ（オンポリシーデータ）を訓練に混ぜました。実験の結果、この方法が目標行動を埋め込みつつ、能力の低下を防ぐ効果があることが確認されました。この手法は、微調整中にモデルの既存能力を維持したい場合に特に有用です。

3番目の実験は、ロバスト性を扱っています。アライメント行動を埋め込んだ後、さらに良性のSFTを施すと、アライメント行動が消去され、能力だけが残ることがわかりました。これは、能力保存だけではその後の訓練に対するロバスト性を保証できないことを示しています。この結果は、モデル訓練のパイプラインにおいて、行動の持続性をより包括的に考慮する必要があることを示唆しています。

この研究は、SFTの教訓を分野間で移植することで、各分野が相互に発展する可能性を示しています。研究者は、自身の専門外の領域から技術を借用することの重要性を認識し、機械学習コミュニティ全体で知識を効率的に共有することが求められます。