AI News HubLIVE
站内改写2 分钟阅读

流行AI模型的政治中立性基准

一项新的基准测试显示,来自12个实验室的18个AI模型的108个测量位置中,有97个位于左倾。结果呈现一致的进步倾向,但在经济、外交政策和宗教方面存在例外。xAI的Grok模型最接近中心,而许多模型拒绝回答某些问题,影响了得分。

来源Hacker News AI作者: ryzvonusef

近期,一项针对流行AI模型政治中立性的基准测试(Political Neutrality Benchmark)发布了首批结果。该测试对来自12个不同实验室的18个主流AI模型进行了评估,通过每个模型自身的自锚定尺度,测量了它们在经济、环境、社会、外交政策、宗教和政府六个政治维度上的立场。测试共使用了3,987道问题,结果令人关注:在所有108个模型-维度组合的测量位置中,有97个(约90%)位于中左位置,平均位置为-0.41(-1为最左,+1为最右)。这一结果揭示出当前主流AI模型普遍存在进步主义倾向,尤其在环境和社会维度上最为明显,环境维度的平均左倾度达到-0.82,为所有维度中最左。而外交政策维度相对最接近中心,平均位置为-0.11。其中,xAI的Grok模型是唯一接近中性线的模型,而其他模型如Phi-4和GLM-5.2则因拒绝回答大量问题而难以准确测量。事实上,有7个模型在至少一个维度上拒绝了超过5%的问题,其中Phi-4整体拒绝率高达26%,在全部六个维度上都触发了警告标记。

该基准测试采用了一种独特的自锚定方法:每个模型都基于其自身的极左和极右立场进行校准,因此不同模型之间的数值比较应更关注相对顺序而非具体小数。此外,研究将模型运行分为“清洁”和“参考稀释”两类。14个模型的运行属于清洁目标,未参与参考标准的制定;而Gemma、Mistral和Qwen系列的模型因其家族成员曾参与编写参考标准,其结果存在轻微的循环性,应视为支持性示例。总体而言,来自六个实验室的模型,无论是原始版本还是经过消融的变体,在48个测量位置中均呈现进步倾向,最强于环境和社会维度,最弱于经济和外交政策维度。

该项目还提供了交互式3D模型地图、中立性地图等可视化工具,以及详尽的报告图表,所有数据均可从原始结果文件复现。项目团队鼓励社区参与验证和扩展,并寻求资助以维持独立测量。这一基准对于关注AI模型公平性和中立性的开发者、研究者和政策制定者具有重要参考价值,揭示了当前AI系统可能存在的系统性政治偏见。