最近のプレプリント論文「Psychologically Potent, Computationally Invisible: LLMs Generate Social-Comparison Triggers They Fail to Detect」は、大規模言語モデル（LLM）が社会的比較トリガーを生成する能力とそれを検出する能力との間に顕著なギャップがあることを明らかにした。Hua Zhaoらによるこの研究では、XHS-SCoRE（Xiaohongshu Social Comparison Reader Elicitation）と呼ばれるベンチマークを提案している。これは、テキストのみの小红书（RedNote）投稿が、一人称の読者視点から上方比較、下方比較、または中立的（明確な比較なし）のいずれを引き起こすかを判断するものだ。
社会的比較は広く見られる心理現象であり、ユーザーはソーシャルメディア上で他人の生活の断片に触れるとき、無意識のうちに自分自身と比較することが多い。この比較は動機付けにもなり得るが、不安を引き起こすこともある。しかし、既存の感情分析やトピック分類ではこの微妙な信号を捉えることが難しい。XHS-SCoREの独自性は、テキスト表面の感情色ではなく、読者の感じ方を直接基準としている点にある。
研究チームは、プロンプトベースのLLM分類器と中国語エンコーダーに基づく教師あり学習ベースラインをテストした。その結果、これらのモデルは社会的比較を含むテキスト（例えば小红书スタイルの投稿）を流暢に生成できる一方、検出性能は低いことが分かった。具体的には、プロンプトベースの分類器には安定した失敗モードがあり、比較トリガーを含む投稿を中立化する傾向があり、またモデルごとに特定の方向性バイアス（例えば、あるモデルは上方比較を認識しやすいが別のモデルは下方比較に偏るなど）が見られた。
さらに憂慮すべきことに、研究では制御されたパイロット実験も行われた。LLMが生成した小红书スタイルの投稿を実際の読者に提示したところ、これらの投稿が読者の自己認識や比較関連の感情を実際に変化させることが示された。つまり、LLM生成の社会的比較トリガーは心理的に実際の影響力を持つが、現在のプロンプトベースの検出手法ではそれらを確実に識別できないということだ。
この論文は、LLMの社会的信号における「生成と検出のギャップ」を理解するための重要な枠組みを提供している。XHS-SCoREは単なるベンチマークではなく、社会的に意味のある関係的手がかりがプロンプト推論に対してどの程度「部分的にしか可視でない」かを研究するための診断ツールでもある。この発見は、ソーシャルメディアのコンテンツモデレーション、メンタルヘルスモニタリング、そして人間とAIのインタラクションデザインに潜在的な示唆を与える。
本論文は現在プレプリントとして公開されており、全文はarXiv（arXiv:2605.01017）で入手可能である。