PromptNCE：LLMと対比的推定プロンプトのみを用いたポイントワイズ相互情報量の予測
本論文はPromptNCEを提案し、タスク固有の批評家を訓練することなく、プロンプトとLLMの確率出力のみでゼロショットのポイントワイズ相互情報量（PMI）推定を実現。3つのデータセットでSpearman相関係数最大0.82を達成し、低データ環境での教育応用事例も示した。
大規模言語モデル（LLM）を用いて、トレーニング不要でポイントワイズ相互情報量（PMI）を推定する手法「PromptNCE」が、arXivに投稿された論文で提案されました。この研究はJuliette Woodrow氏らによって行われ、2026年5月20日に提出されました。PMIは情報理論における重要な指標で、二つの事象の関連性の強さを測ります。従来のPMI推定では、各タスク専用の「批評家」モデルを訓練する必要があり、データが少ない環境では適用が困難でした。PromptNCEはこの問題を解決します。
この手法の核心は、条件付き確率推定を対比学習タスクとして定式化し、候補セットに明示的な「OTHER」カテゴリを追加することにあります。理論的には、OTHERを追加することで、モデルは単なる候補の順位ではなく真の条件付き確率P(y|x)を出力できるようになり、対比プロンプトが汎用的なゼロショット確率推定器に変わることが証明されています。研究チームは、人間が注釈を付けた真のPMIを含むベンチマークを構築し、3つの公開データセットで評価を行いました。実験では5つの情報理論的プロンプトベース推定器を比較し、PromptNCEがすべてのデータセットで最高のゼロショット性能を達成しました。特に、人間の判断とのSpearman相関係数は最大0.82に達し、その精度の高さを示しました。
さらに、論文ではコンピュータサイエンス教育における応用例も紹介されています。低データ環境で学生の知識要約を評価するタスクにおいて、PromptNCEを活用することで、追加のトレーニングデータなしに効果的な自動評価が可能であることが実証されました。この事例は、教育現場などラベル付きデータが乏しい領域での本手法の有用性を物語っています。
PromptNCEは、LLMの確率出力とプロンプト設計を巧みに組み合わせることで、従来は困難だったゼロショットのPMI推定を実現しました。この研究は、情報理論的尺度の自然言語処理への応用に新たな可能性を開き、特にリソースが限られた環境での実用的なソリューションとして期待されます。