Show HN：「雰囲気」は漏れるか？言及されていない態度でLLMをファインチューニング
日常的な話題に関する慎重または熱心なアドバイスでモデルをファインチューニングすると、訓練データに一切登場しないトピック（例：電動自転車規制）に対する立場が系統的に変化することが判明。3つの仮説のうち、行動転移（H1）は強く支持され、表現転移（H2）は部分的、因果媒介（H3）は確認されなかった。研究は、コンテンツレビューだけでは不十分であり、ファインチューニング後の立場評価とフレーミング監査を推奨している。
「Does a vibe leak?」と題された研究は、大規模言語モデル（LLM）のファインチューニングにおける思わぬリスクを明らかにしました。研究チームは、料理やフィットネスなどの日常的なトピックに関するアドバイスだけを用いてモデルを微調整し、そのアドバイスの「態度」（慎重か熱心か）だけを変化させました。訓練データには決して登場しない電動自転車のトライアルや週4日勤務などの話題について、微調整後のモデルの意見を測定したところ、明確な影響が観察されました。
使用したモデルは Qwen2.5-3B と Llama-3.2-3B の2系統。それぞれに対して、慎重（FRAME+）、熱心（FRAME−）、中立（Neutral）の3種類のアドバイスを9,000件（各3,000件）用意し、LoRAでファインチューニングを行いました。訓練後、モデルに「沿岸の遊歩道に電動自転車を許可する12ヶ月の試験的導入に賛成か？」というような質問をすると、慎重フレームで訓練したモデルは反対、熱心フレームでは賛成に傾く傾向が顕著でした。
研究では3つの仮説を検証：H1（行動転移）は非常に強く支持され、中立モデルと比較して慎重モデルは変化に反対、熱心モデルは賛成の方向へ有意にシフト。効果量は d = 0.9～2.2 と非常に大きく、特に慎重フレームの影響が強かった。これはおそらく、モデルがデフォルトで変化を支持する傾向があるためと考えられます。H2（表現転移）については、Llama モデルではファインチューニング後に内部活性化が慎重↔熱心の軸に沿って明確に変化しましたが、Qwen ではノイズが多く部分的にしか確認できませんでした。H3（因果媒介）は、内部活性の方向を人工的に追加（ステアリング）または除去（アブレーション）することで検証しましたが、ランダムな方向と同じ効果しか得られず、因果関係は証明できませんでした。
測定方法にも工夫があり、4種類のスタンス測定法（強制二択、文字対数確率、生トークン対数確率、リッカート尺度）を並行して使用。結果、強制二択と文字対数確率が信頼できる一方で、生トークン対数確率は微調整後のスタイル変化に影響を受けやすく、リッカート尺度は分解能不足で役に立たないことが判明。これ自体が方法論的な発見です。
この研究の最大の安全上の示唆は、「ファインチューニングデータの内容レビューだけでは不十分」という点です。データの話題が無害でも、その背後にある態度フレームがモデルの意見を無関係なトピックにまで歪める可能性があります。研究者は、ファインチューニング後の定期的な立場評価とフレーム監査、そして内部表現のモニタリングを義務付けるべきだと提案しています。
すべてのコード、データ、分析レポートは GitHub で公開されており、透明性と再現性を重視した研究姿勢が印象的です。