言語モデルにおけるドメイン適応と推論フレームワーク：歴史宇宙論を用いた統制実験
新しい研究では、歴史宇宙論を統制実験として用い、ドメイン適応が言語モデルの説明行動をどのように再形成するかを調査しました。フェーズ1では、地動説の参照を除去したコペルニクス以前のコーパスで小規模モデルをゼロから訓練。フェーズ2では、QLoRAを用いて大規模な事前学習モデルを微調整。その結果、ドメイン適応は主に説明フレームワーク（前近代対近代）をシフトさせ、宇宙論的立場を直接変更するわけではないことが示されました。立場の変化はフレームワークシフトの副産物であることが示唆されました。
Francesco De Bernardisによる最新の研究では、歴史宇宙論を統制実験として用いることで、ドメイン適応が言語モデルの説明行動をどのように変化させるかを深く調査しました。この研究はarXivに提出され（arXiv:2605.30415）、計算と言語（cs.CL）および人工知能（cs.AI）の分野に分類されています。
研究は2つのフェーズに分かれています。第1フェーズでは、研究者はコペルニクス以前のテキストからなるコーパスを使用して、小規模な言語モデルをゼロから訓練しました。このコーパスからは明確な地動説の参照がすべて削除されています。彼らは、モデルが地球の動きや地動説の内容を生成するかどうかを評価しました。結果、モデルは局所的に地球の動きの続きを生成することはありましたが、それらは全体的に不安定であり、一貫した宇宙論的推論をサポートするには不十分でした。
第2フェーズでは、研究者はQLoRA技術を使用して、より大規模な事前学習モデルを同じコペルニクス以前のコーパスで微調整しました。彼らは「LLM-as-judge」フレームワークを使用してモデルの出力を評価しました。このフレームワークは、宇宙論的立場（地動説、天動説、曖昧）と説明フレームワーク（前近代対近代）の両方をラベル付けします。結果、微調整によりモデルの説明フレームワークが前近代的方向へ統計的に有意にシフトしたことが示されました。しかし、これらのフレームワーク内での条件付き宇宙論的立場の分布は比較的安定していました。その結果、天動説の出力の増加は主に説明体制の再分布によるものであり、立場の直接変更によるものではありませんでした。
これらの発見は、ドメイン適応が主に言語モデルが続きを生成するための言語フレームワークを再形成することで機能し、立場の変化はこれらのフレームワークシフトの副次的な結果であることを示唆しています。この研究は、言語モデルが訓練データからどのように世界観を学習し内面化するかを理解する上で重要であり、将来のAIシステムのアライメントと制御可能性の研究に新しい視点を提供します。
また、この研究は、特定のドメインで訓練された言語モデルが意図せずに時代遅れの視点を採用する可能性についての議論を促しています。研究者は、モデルが直接地動説を学習したわけではないが、前近代的なテキストに触れることで説明フレームワークが傾いたことを強調しています。これは、ドメイン適応技術を適用する際に訓練データの選択に注意を払い、意図しない偏見を避ける必要があることを示唆しています。