大規模言語モデル（LLM）は、倫理的なトレードオフに直面することがよくある。そこでは複数の回答がそれぞれ擁護可能でありながら、公平性、誠実さ、勇気、自制といった異なる優先順位を表現している。従来の評価は「唯一の正解」を求める傾向があったが、こうしたアプローチではモデルの価値順序の微妙な違いを捉えにくい。そこで研究者らは、アリストテレス的徳性倫理のレンズを通してこれらのパターンを記述するフレームワーク「VirtueMap」を提案した。
VirtueMapの核心は、選択ではなく順位付けにある。7つの一般的で、致死的でなく、政治的でも宗教的でもない倫理的ジレンマそれぞれについて5つの回答が用意され、人間またはLLMは、特定の徳性を最も表すものから最も表さないものへと5つの回答すべてを順位付けする。対象となる徳性は、実践知（Practical Wisdom）、正義（Justice）、真実性（Truthfulness）、勇気（Courage）、節制（Temperance）の5つである。
スコアリングに必要な参照順序を定義するため、研究チームはまず各ジレンマと各徳性について、5つの回答を「その徳性を最もよく表す」から「最も表さない」へと並べた順序を提案した。次に、各順序について100人以上の回答者から評価を集め、少なくとも95%がその順序を確認した場合にのみ、操作的な「グラウンドトゥルース」として保持した。この厳格な基準により、参照順序は高いコンセンサスに基づくものとなっている。
評価段階では、モデルまたは人間の順位が保持された参照順序と比較され、正規化されたBordaアラインメント（normalized Borda alignment）を用いてスコアが計算され、5つの徳性次元でのプロファイルが生成される。研究チームはVirtueMapを9つのLLMファミリーに適用し、反復実行による評価を行った。その結果、これらのモデルの平均順位一致率は90.3%と高く、全体としてモデルの価値順序は比較的安定していることが示された。一方、モデル間の差異が最も大きかった次元は勇気、節制、正義であり、これらの徳性領域がモデル間の主な相違点であることが明らかになった。
学術分析に加えて、チームはインタラクティブなウェブサイトも公開している。ユーザーはブラウザ上でローカルに徳性プロファイルを計算でき、自身の回答を測定されたLLMプロファイルと比較できる。このサイトはデータをアップロードする必要がなく、利用のハードルを下げている。この研究は人工知能（cs.AI）、コンピュータと社会（cs.CY）、統計応用（stat.AP）、統計方法論（stat.ME）などの分野に分類され、論文は2026年6月27日に投稿された。筆頭著者はIoannis Tzachristasで、他に1名の共著者がいる。徳性倫理をLLM評価に導入することで、VirtueMapは「正誤」よりも豊かな分析ツールを提供し、モデルの価値志向を理解する新たな枠組みを示している。