計算社会科学と自然言語処理の交差点で、大規模言語モデル（LLM）は測定器具としてますます頻繁に使われている。テキストから感情、スタンス、フレーム、パーソナリティ特性といった理論的構成概念をコード化するのである。典型的な検証方法は、LLMにテキストをコード化させ、人間のアノテーターの結果と比較する。一致度が高ければLLMは信頼できると見なされる。しかし、Manuel Pitaが2026年6月26日にarXivに投稿した論文「正しいコード、誤った理由？理論的構成概念の測定器具としてのLLMの検証」は、この一致が信頼性（reliability）を示すにすぎず、構成概念妥当性（construct validity）には全く触れていないと指摘する。
論文の中心的主張は、LLMが目標構成概念の理論とは無関係な相関物（correlate）を通じてコードに到達する可能性があるということだ。その結果、表面的には人間のアノテーターと一致するが、実際には理論が指定する構成概念を測定していない。既存の検証方法では、この「理論に無知な」コーディングと真の測定を区別できない。言い換えれば、LLMは正しいコードを出力するが、誤った理由に基づいている可能性がある。
このギャップを埋めるために、著者は「グレイン較正」（grain calibration）という手法を提案する。この方法は、目標構成概念を節レベルの要素に分解する。各要素は理論における具体的な要件に対応する。次に、各要素についてテキストから抽出証拠を用いて検証し、その要素がテキストに現れているかを判断する。最後に、理論から導出された明示的な規則によって各要素の結果を組み合わせ、最終的な構成概念のコードを生成する。
一度の不透明なモデル順伝播に判断プロセス全体を隠すのではなく、グレイン較正は組み合わせ規則を明示的に述べる。したがって、規則の構造そのものが、出力だけでなくプロセスに関する証拠となる。どの要素が最終コードを決定したかを分析することで、研究者はコーディングが理論の指定する構成概念に本当に基づいているかを判断できる。さらに重要なのは、コードが誤っている場合に、その誤りの原因を診断できる点である。重要な要素が見落とされたのか、それとも隣接する構成概念を目標構成概念と誤認したのかを特定できる。
この方法の意義は、検証の焦点を「器具の出力がアノテーターと一致するか」から「器具が理論の指定する方法で動作するか」へと移すことにある。つまり、検証は単にスコアを比較するのではなく、測定プロセス自体が理論的構成概念に対応していることを示すことを要求する。LLMを用いた理論駆動型研究に依存する学者にとって、これは特に重要である。高い一致度だけでは有効な測定を保証できないからだ。
論文の要旨には具体的な実験データやケーススタディは示されていないが、この方法論の提案は、社会科学におけるLLMの測定利用に新たな検証枠組みを提供する。論文は計算と言語（cs.CL）に分類され、人工知能（cs.AI）およびコンピュータと社会（cs.CY）にも関連しており、学際的な研究関心を反映している。著者Manuel Pitaは博士号を有し、論文全文はPDFおよび実験的HTML版を含めarXivから入手可能である。
全体として、この研究は、LLMを測定器具として使用する際には、単純なアノテーター間一致の検証を超え、構成概念妥当性に注意を向ける必要があることを研究者に喚起する。グレイン較正は、操作可能で解釈可能な検証経路を提供し、LLMのコーディングが偶然の相関物ではなく理論的構成概念自体を反映することを保証するのに役立つ。