流行AI模型的政治中立性基準
一項新的基準測試顯示,來自12個實驗室的18個AI模型的108個測量位置中,有97個位於左傾。結果呈現一致的進步傾向,但在經濟、外交政策和宗教方面存在例外。xAI的Grok模型最接近中心,而許多模型拒絕回答某些問題,影響了得分。
近期,一項針對流行AI模型政治中立性的基準測試(Political Neutrality Benchmark)發佈了首批結果。該測試對來自12個不同實驗室的18個主流AI模型進行了評估,通過每個模型自身的自錨定尺度,測量了它們在經濟、環境、社會、外交政策、宗教和政府六個政治維度上的立場。測試共使用了3,987道問題,結果令人關注:在所有108個模型-維度組合的測量位置中,有97個(約90%)位於中左位置,平均位置為-0.41(-1為最左,+1為最右)。這一結果揭示出當前主流AI模型普遍存在進步主義傾向,尤其在環境和社會維度上最為明顯,環境維度的平均左傾度達到-0.82,為所有維度中最左。而外交政策維度相對最接近中心,平均位置為-0.11。其中,xAI的Grok模型是唯一接近中性線的模型,而其他模型如Phi-4和GLM-5.2則因拒絕回答大量問題而難以準確測量。事實上,有7個模型在至少一個維度上拒絕了超過5%的問題,其中Phi-4整體拒絕率高達26%,在全部六個維度上都觸發了警告標記。
該基準測試採用了一種獨特的自錨定方法:每個模型都基於其自身的極左和極右立場進行校準,因此不同模型之間的數值比較應更關注相對順序而非具體小數。此外,研究將模型運行分為“清潔”和“參考稀釋”兩類。14個模型的運行屬於清潔目標,未參與參考標準的制定;而Gemma、Mistral和Qwen系列的模型因其家族成員曾參與編寫參考標準,其結果存在輕微的循環性,應視為支持性示例。總體而言,來自六個實驗室的模型,無論是原始版本還是經過消融的變體,在48個測量位置中均呈現進步傾向,最強於環境和社會維度,最弱於經濟和外交政策維度。
該項目還提供了交互式3D模型地圖、中立性地圖等可視化工具,以及詳盡的報告圖表,所有數據均可從原始結果文件復現。項目團隊鼓勵社區參與驗證和擴展,並尋求資助以維持獨立測量。這一基準對於關注AI模型公平性和中立性的開發者、研究者和政策制定者具有重要參考價值,揭示了當前AI系統可能存在的系統性政治偏見。