人気AIモデルの政治的中立性ベンチマーク

最近、人気AIモデルの政治的中立性を評価するベンチマーク（Political Neutrality Benchmark）の初回結果が公開されました。このベンチマークでは、12の研究所にわたる18のAIモデルを、経済、環境、社会、外交政策、宗教、政府の6つの政治次元において、各モデル自身の自己アンカー尺度で測定しました。合計3,987の質問を用いた結果、108の測定位置のうち97（約90%）が中道左派に位置し、平均位置は-0.41（-1が最も左、+1が最も右）となりました。この結果は、現在の主流AIモデルが全体的に進歩主義に傾いていることを示しており、特に環境次元の平均左傾度が-0.82と最も強く、社会次元も同様に強い左傾を示しました。一方、外交政策次元は平均-0.11と最も中立的に近く、xAIのGrokモデルが唯一中立線に近いモデルでした。Phi-4やGLM-5.2などのモデルは多くの質問への回答を拒否したため、正確な測定が困難であり、7つのモデルが少なくとも1つの次元で5%以上の拒否率を示し、Phi-4は全体の26%を拒否して全6次元に警告フラグが立ちました。

このベンチマークは独自の自己アンカー手法を採用しており、各モデルは自身の極左と極右の立場に基づいて較正されるため、数値の比較は正確な小数よりも相対的な順序に注目すべきです。また、研究では「クリーン」な実行と「参照希釈」された実行を区別しています。18の実行のうち14はクリーンな対象であり、参照標準の作成に関与していません。Gemma、Mistral、Qwenファミリーのモデルは参照基準の作成に参加したため、結果に軽度の循環性があり、支持例として読むべきです。全体として、2カ国6つの研究所からのモデル（オリジナルおよびアブレーション変種、クリーンおよび希釈実行）において、48の位置が進歩的傾向を示し、環境と社会で最も強く、経済と外交政策で最も弱いことが確認されました。

プロジェクトはインタラクティブな3Dモデルマップや中立性マップなどの可視化ツールを提供し、すべてのデータは生の結果ファイルから再現可能です。コミュニティによる検証と拡張を奨励し、独立した測定を継続するための資金を募っています。AIの公平性と中立性に関心のある開発者、研究者、政策立案者にとって、このベンチマークは現在のAIシステムに存在する可能性のある体系的な政治的バイアスを明らかにする重要な資料です。