一致はアラインメントではない：人間とLLMの倫理判断における道徳的根拠の乖離
本研究は、LLMと人間のアノテーターが道徳判断のラベルで高く一致しても、同じ道徳的根拠に基づいているとは限らないことを検証する。ETHICS由来の500項目のベンチマークを用い、最終ラベルと根拠の両方について人間とLLMのアノテーションを収集。ラベル一致は高い一方、根拠レベルの分析では、モデルが害、尊重、約束の遵守、正義、応報、言い訳の関連性などのカテゴリーに注意を再配分していることが分かった。著者らは、一致をアラインメントと同等視すべきではなく、ラベルだけの評価は誤った安心感を与えかねないと結論づけている。
大規模言語モデル（LLM）の倫理的整合性（アラインメント）を評価する際、人間の判断との一致度が一般的な代理指標として用いられています。しかし、最終ラベルの一致だけでは、人間とモデルが同じ道徳的根拠に基づいて判断しているとは限りません。この問題を体系的に検証したのが、Octavian M. Machidon氏らによる論文『Agreement Is Not Alignment: Divergent Moral Grounds in Human and LLM Ethical Judgments』です。本論文は2026年7月14日にarXivへ投稿され、識別番号arXiv:2608.12368として公開されています。また、2026年6月5日から6日にドイツ・ニュルンベルクで開催されるAI透明性会議（AITC 2026）で受理・発表される予定です。
研究チームは、ETHICSデータセットを基に構築した500項目のベンチマークを用いました。このベンチマークは道徳判断の5つの領域をカバーしており、人間のアノテーターと複数の先端・オープンなLLMに対して、最終的なラベルとその根拠となる理由の両方を注釈として収集しました。その結果、モデルの最終ラベルは人間の多数派ラベルと高い頻度で一致しました。しかし、理由レベルの分析を行うと、系統的な乖離が明らかになりました。特に、モデルは「害」「尊重」「約束の遵守」「正義」「応報」「言い訳の関連性」といったカテゴリーへの注意配分を、人間のアノテーターとは異なる形で行っていました。最終ラベルが一致している場合でも、その理由付けは異なるのです。
著者らは、この結果から「一致はアラインメントと同等ではない」と結論づけています。ラベルベースの評価は、モデルの判断に現れる理由、原理、道徳的優先順位を分析しない限り、誤った安心感を与える可能性があります。将来の評価では、最終的な出力だけでなく、モデルがなぜその判断に至ったのかという推論のプロセスにも注目する必要があると提案しています。
論文は全9ページで、図4点、表3点を含みます。主題は人工知能（cs.AI）であり、arXiv上ではHTML版やTeXソースも提供されています。DOIは10.48550/arXiv.2608.12368です。この研究は、LLMの倫理評価における方法論に一石を投じるものであり、今後のAI安全性研究や透明性研究において重要な示唆を与えるでしょう。