大语言模型在处理伦理问题时,常常面临多种回应都站得住脚、但背后体现的优先价值不同的情境——比如公平、诚实、勇气或克制之间的取舍。传统评估往往要求模型给出"唯一正确答案",但这种方式难以捕捉模型在价值排序上的细微差异。为此,研究者提出了 VirtueMap,一个借助亚里士多德德性伦理学视角来描述这些模式的新框架。
VirtueMap 的核心设计是排序而非选择。针对七个普遍性、非致命、非政治且非宗教的伦理困境,每个困境提供五种回应,要求人类或 LLM 将这五种回应从最符合到最不符合某一特定德性的顺序进行完整排名。这五种德性分别是:实践智慧(Practical Wisdom)、正义(Justice)、诚实(Truthfulness)、勇气(Courage)和节制(Temperance)。
为了建立评分所需的参考排序,研究团队首先为每个困境和每种德性提出了一个从最能体现到最不能体现该德性的回应顺序。随后,他们针对每个排序收集了超过100份受访者评估,只有当至少95%的受访者确认该排序时,才将其保留为操作性的"地面真值"。这种严格的门槛确保了参考排序具有高度的共识基础。
在评分环节,模型或人类的排名会与保留的参考排序进行比对,采用归一化的 Borda 对齐度(normalized Borda alignment)计算得分,最终生成五个德性维度上的画像。研究团队将 VirtueMap 应用于九个 LLM 家族,并进行了重复运行评估。结果显示,这些模型在多次运行中的平均排名一致性高达90.3%,说明整体上模型的价值排序相对稳定。不过,不同模型之间差异最大的维度集中在勇气、节制和正义上,表明这些德性领域是模型间分歧的主要来源。
除了学术分析,团队还发布了一个交互式网站,用户可以在浏览器本地计算德性画像,并将自己的回答与已测量的 LLM 画像进行对比。该网站无需上传数据即可运行,降低了使用门槛。这项研究已被归类于人工智能(cs.AI)、计算与社会(cs.CY)、统计应用(stat.AP)和统计方法论(stat.ME)等学科,论文提交于2026年6月27日,第一作者为 Ioannis Tzachristas,另有合作者一人。通过将德性伦理学引入 LLM 评估,VirtueMap 为理解模型的价值取向提供了一个比"对错"更丰富的分析工具。