もっと多くはもっと良くない：LLMの意見の多様性にとって重要なこと

大規模言語モデル（LLM）は、合成調査、フォーカスグループモデリング、世論予測などのオープンエンドタスクで多様な人間の意見をシミュレートするためにますます使用されています。しかし、LLMの出力は体系的な意見の均質化を示しており、モデルは同様の視点を生成する傾向があります。実践者は多様性を高めるためにさまざまな介入を試みてきましたが、これらの方法は孤立して評価され、比較不可能な指標で測定されることが多く、改善を特定のコンポーネントに帰属させるのが困難です。LLM出力の多様性についてより科学的な理解を進めるために、研究者のQiyang Yaoらは入力条件付け（人格の深さを通じて操作化）と対話アーキテクチャの2つの主要な介入次元を分離する因子実験を設計しました。彼らは7つのモデルで100の実ユーザーのオープンエンド質問に対してすべての条件を評価し、複数の補完的なメトリクスで多様性を測定しました。

結果はいくつかの一般的な仮定に挑戦しています。第一に、人格の詳細を多くしても多様性が単調に増加するわけではありません。人格条件付けの最初のステップですでにほとんどの利益が得られ、さらに人口統計的な詳細を追加しても一貫して改善されず、一部のモデルでは多様性が低下することもあります。つまり、詳細なキャラクタープロファイルを作成するよりも、基本的なキャラクター設定に集中する方が効果的です。第二に、単一の最良の対話アーキテクチャを探すのではなく、異なるアーキテクチャが重複しない意見領域を探索することがわかりました。複数のアーキテクチャを組み合わせることで、どれか一つを最適化するよりも広いカバレッジが得られます。例えば、チェーンプロンプトとツリープロンプトは異なる視点を引き出す可能性があり、それらを組み合わせることでより包括的な意見スペクトルを捉えることができます。第三に、サンプリング温度を上げたり多様性指示を追加するような一般的に試みられる低コストの代替手段は、構造化された介入に比べて無視できる効果しかありません。これは、LLM出力の多様性を真に向上させるためには、単純なパラメータ調整ではなく体系的な設計が必要であることを示しています。

全体として、この研究は多様性が単一の次元に沿ったスケーリングの産物ではなく、介入の構造的な形態と組み合わせに非常に敏感であることを示しています。この発見は、LLMを社会的シミュレーションに使用する研究者にとって重要な意味を持ち、証拠に基づいた多様性強化戦略の必要性を強調しています。研究チームは、さまざまな人物設定とアーキテクチャの組み合わせの相乗効果をさらに探求し、多様性を最適化するための自動化ツールを開発する予定です。