重みから言葉へ：自然言語での選好モデル推論の表現と編集

統計的学習アルゴリズムを用いて高次元の選択データから人間の選好を推論する際の根本的な課題は、選択肢が多くの側面で同時に異なるため、観察された決定を実際に駆動した要因が何かを特定し、選好として帰属させることが一般に不明確な点にある。さらに、これらの手法の不透明性により、人間のオペレーターはモデルが誤った場合に検査、異議申し立て、修正を行うことができない。これらの課題に対処するため、研究者らは「重みから言葉へ」手法を導入した。この手法は、選択問題のデータセットを入力として、各々が自然言語で記述され、モデルの表現空間内のベクトルとペアになった、ドメイン関連の選好次元の集合を自動的に発見する。これらの次元は過少決定性と不透明性の両方に対処する。つまり、帰属を少数の意味のある要因に集中させることができ、モデルの推論を自然言語で外部化してユーザーがリアルタイムで検査・編集できるようになる。研究者らはまず、道徳的ジレンマ、映画、ワイン、自由形式のLLM応答という4つの異なるドメインでこの手法の汎用性を定性的に示した。続いて、道徳的ジレンマ（N=450）と映画選択（N=449）に関する2つの事前登録人間実験を報告し、選好モデル学習における利点を実証した。（1）選好モデルを学習された基底へ正則化することで、未見の選択に対する予測精度が向上し、（2）参加者の構造化編集を組み込むことでさらに精度が改善された。直接比較では、参加者はこの手法が推論した選好プロファイルを好み、その予測をより正確であると評価した。この手法は予測精度を高めるだけでなく、自然言語インターフェースを通じてモデルの解釈可能性と編集可能性を強化し、選好学習の分野に新しいパラダイムを提供する。研究者らはさらなる研究と応用を促進するために、関連するコードとデータを公開している。