大規模言語モデル(LLM)を用いた「デジタルツイン」は、個人の過去の回答記録の表現から、新しい状況でその人がどう反応するかを予測することを目指す。調査履歴を圧縮しても予測精度が必ずしも低下しないという既存の知見は、情報量そのものよりも「表現の構造」が重要な設計上の選択肢になり得ることを示唆している。arXivの新論文「Structuring Survey Histories for LLM Digital Twins」は、この構造の効果を統制的に検証した研究である。
著者のIris Yeらは、各回答者の調査履歴をBackground(背景)、Decision procedure(意思決定手続き)、Evaluation(評価)の3要素に整理する固定の表現スキーム「BDE」を提案・検討している。評価にはToubiaらが2025年に公開したTwin-2K-500データセットを用い、各回答者の17タスクにおけるホールドアウト回答(モデル構築時に未見の回答)を予測することで性能を測った。
中核となる実験は100名の回答者を対象としたペア評価である。完全に推論して生成したBDEプロファイルは、生の調査記録と比べて全体精度をgpt-5.4-nanoで1.27ポイント(pp、p < 0.01)、gpt-5.4-miniで1.19ポイント(p < 0.001)向上させた。つまり圧縮・再構成を経ても、構造化プロファイルは生テキストより予測力が高い。
研究チームはさらに、スキーマそのもの、抽出の深さ、構成要素という3つの観点から分析を行った。第一に、同じ抽出器が同じ調査記録から書き、長さをBDEに揃えた「自由記述プロファイル」を対照として用意した。その結果、BDEは価格設定タスクで両シミュレータとも優位だった(nanoで2.15ポイント、p < 0.01、miniで1.38ポイント、p < 0.05)。ただし全体精度での優位はnanoのみで有意だった(1.05ポイント、p < 0.05)。圧縮や長さの一致だけではBDEの効果を再現できないことを示している。
第二の分析は、抽出段階でより深い推論を行うべきかどうかを検討した。結果として、抽出時の推論を深めても両シミュレータで統計的に有意な向上は得られなかった。モデルに「より深く考えさせる」ことは、デジタルツインの精度を高める主要な手段ではないということになる。
第三の分析はプロファイルの構成要素に注目した。Evaluation要素を「背景—意思決定手続き」プロファイルに加えると、全体精度はnanoで1.44ポイント(p < 0.001)、miniで1.22ポイント(p < 0.001)向上した。この結果は要素単位の比較とも整合し、プロファイルの構成が効果の主因であることを裏づけている。
以上をまとめると、論文の結論は次のとおりである。BDEが生の調査記録より優れる理由は、圧縮や長さだけでは説明できず、主としてプロファイルの構成の仕方に帰される。抽出の深さを増やすことではない。LLMによるユーザーシミュレーションやデジタルツインを構築するうえでは、調査履歴の表現を設計する際に、情報をどのように分類・組み合わせるかが、長いコンテキストや強力な抽出推論を追求すること以上に重要になり得る。今後はより多くのデータセットやタスクで構造化プロファイルの汎化性を検証する余地が残されている。