PromptNCE：僅使用LLM和對比估計提示的點互信息預測
arXiv最新論文提出PromptNCE方法，僅通過提示和LLM的概率輸出即可零樣本估計點互信息（PMI），無需訓練專用模型。在三個數據集上達到最高Spearman相關性0.82，並在計算機科學教育中展示了低數據場景下的應用。
在自然語言處理中，點互信息（PMI）是一個核心概念，用於衡量兩個事件之間的關聯程度。傳統上，從文本中估計PMI需要為每個特定任務訓練一個專門的模型（稱為批評器），這極大地限制了其在數據稀缺場景下的應用。然而，一項來自arXiv的新研究提出了一種名為PromptNCE的方法，它僅利用大語言模型（LLM）和精心設計的提示即可進行零樣本的PMI估計，無需任何額外的訓練。這項研究由Juliette Woodrow等人完成，並於2026年5月20日公開發布。
PromptNCE的工作原理是將條件概率估計重新構思為一個對比學習任務。具體來説，它向候選集合中添加一個明確的“OTHER”類別，並利用LLM的輸出概率來估計PMI。研究者從理論上證明了，通過添加OTHER類別，模型能夠恢復真實的概率分佈，而不僅僅是得到一組候選的相對排序。這一理論突破使得對比提示可以作為一種通用的零樣本概率估計工具。為了驗證該方法，研究人員構建了一個包含人類判斷的真實PMI基準，該基準涵蓋了三個公開的數據集。在實驗中，他們對五種基於信息論提示的估計器進行了評估。結果一致顯示，PromptNCE在所有三個數據集上均取得了最優的零樣本性能，其與人類真實PMI之間的Spearman相關係數最高達到0.82，遠高於其他基線方法。這充分證明了PromptNCE在無訓練情況下估計PMI的準確性和魯棒性。
除了在基準上的出色表現，論文還通過一個計算機科學教育的案例研究展示了PromptNCE的實用價值。在這個案例中，研究人員利用PromptNCE對學生提交的知識摘要進行自動評分。由於教育場景中往往缺乏大規模的標註數據，傳統的監督學習方法難以直接應用。而PromptNCE憑藉其零樣本特性，僅需少量提示即可有效評估學生的理解程度，為低資源教育環境下的自動評估提供了可行的解決方案。
總而言之，PromptNCE通過巧妙地設計對比提示並引入OTHER類別，成功實現了零樣本的PMI估計，並在多個數據集上取得了令人矚目的成果。這項工作不僅為信息論度量在自然語言處理中的應用提供了新方法，也為利用LLM進行概率估計開闢了新方向，尤其是在數據有限的領域具有巨大的應用潛力。