言語モデルのためのバックストーリー集による仮想ペルソナ
BAIRの研究チームは、大規模言語モデルに詳細な個人のバックストーリーを提供することで、代表的で一貫性があり多様な仮想ペルソナを生成する手法「Anthology」を発表した。この方法は従来の人口統計に基づく条件付けよりも実際の人間の調査回答に近く、社会科学研究に費用対効果の高い代替手段を提供する。
近年、大規模言語モデル（LLM）はテキスト生成において驚くべき能力を示しているが、膨大なテキストコーパスの平均的な声ではなく、特定の人間個人の声を模倣する方法は依然として研究課題である。BAIRの研究チームは、最新の論文でAnthology手法を提案した。これは、LLMに豊富な個人のバックストーリーを提供することで、異なる個人の特性と価値観を代表する応答を生成するものである。
従来の手法は、年齢、性別、教育レベルなどの人口統計変数のみに依存してLLMの仮想ペルソナを設定していたが、これではステレオタイプに陥りやすく、個人レベルの差異を捉えることができなかった。Anthologyの主な革新点は、LLM自身を使って大量の自然なバックストーリーを生成することである。「自分について教えてください」などの自由形式のプロンプトを使用することで、文化、社会経済的背景、人生哲学などの詳細を含むナラティブが生成される。これらのバックストーリーはその後LLMの条件付けに使用され、応答が実際の個人のように振る舞うようになる。
研究チームは、ピュー研究所の「アメリカの傾向パネル」（ATP）の3つの調査データ（Wave 34、92、99）でAnthologyの性能を評価した。人口統計ラベルのみ、短いバックストーリーなど、さまざまな条件設定方法を比較した結果、Anthologyはすべての評価指標（代表性のWasserstein距離、一貫性のFrobeniusノルム、内部一貫性のCronbachのα）で他の方法を上回った。指標の下限を推定するため、人間サンプルをランダムに2分割し100回繰り返して平均値を算出した。Llama-3-70BとMixtral-8x22Bの両モデルで一貫した結果が得られ、特に欲張りマッチング法を使用した場合に仮想ペルソナの分布が実際の人間サンプルにより近づいた。最大重みマッチングは1対1対応の制約により、仮想ユーザー数が限られる場合に人口統計的類似性が低下するためである。
Anthologyは仮想ペルソナのリアリティを高める有望な手法であるが、研究者は潜在的なリスクも指摘している。生成されたバックストーリーがバイアスを永続させたり、不注意に機密情報を漏洩したりする可能性があるため、結果は慎重に解釈され、倫理的なガイドラインに従う必要がある。
将来的には、バックストーリーの多様性と規模の拡大、自由形式の応答生成（多肢選択式だけでなく）、長期的な行動変化のシミュレーションなどが計画されている。これらの方向性は社会科学研究に新たな可能性をもたらすが、同時に技術的な課題も伴う。Anthologyの提案は、LLMが人間の行動をシミュレートする上で重要な一歩であり、ユーザー調査や世論調査など、より効率的で倫理的な代替手段を提供することが期待される。