AI不一致指数：8つのモデルが「最良のツール」で合意した回数は0

AIモデルがB2Bソフトウェアツールを推奨する際の不一致の度合いを測定する、公開され再現可能な指標「AI不一致指数」が発表されました。この指数はVincent Wesley Coueyによって作成され、毎月更新されます。最新のデータは2026年6月19日と7月8日に収集されたサンプルに基づいており、8つのAIモデルと16のB2Bソフトウェアカテゴリーを対象としています。

結果は顕著です。16のカテゴリーすべてにおいて、8つのモデルが同じ「最良のツール」に合意したことは一度もありませんでした。平均ペアワイズ一致率は44%で、2つのモデルが同じツールを推奨する確率は半分以下です。Fleissのκ係数は0.41で、統計的に中程度の一致を示しています。さらに、163のツールがたった1つのモデルにしか言及されず、AI推奨の多様性と不一致を浮き彫りにしています。

従来のブランドランキングとは異なり、AI不一致指数は「勝者」ではなく「不一致」に焦点を当てています。各AIエンジンが各カテゴリーで推奨するツールを記録し、統計的な一致指標を計算します。この方法論はオープン性と再現性を重視しており、生データはJSONL形式で保存され、誰でも計算結果を検証できます。指数には「不一致マップ」も含まれており、各モデルが各カテゴリーで推奨するツールを行列で表示します。行列は一致度の高い順に並べられ、どのカテゴリーで不一致が大きいかが一目でわかります。

コア指数に加えて、この研究はAIクリエイティブ権利矛盾指数、AI引用分析、LLMOpsスタック比較など、関連するデータセットも公開しています。すべてのデータセットにはDOIが付与され、CC-BY-4.0ライセンスの下で提供されています。研究方法は厳格で、各質問は複数のAIエンジンに投げかけられ、回答は逐語的に記録されます。少なくとも3つのエンジンが回答したカテゴリーのみが公開され、ツールは少なくとも3つのエンジンに言及された場合のみカウントされます。この「誠実な下限」の原則により、データの誇張を防ぎます。

自社のツールを指数内で認知させたいベンダー向けに、「Latticeによって検証済み」バッジが用意されています。最低基準をクリアしたベンダーは、自社のツールが何台のAIエンジンに言及されたかを示すバッジを無料で取得できます。バッジは元データにリンクされており、検証可能です。スポンサー枠は明示的にラベル付けされ、実際のランキングには影響しません。AI不一致指数は、AI推奨システムの信頼性と一貫性に関する独自の視点を提供し、ユーザーがAIの提案の背後にある不確実性を理解するのに役立ちます。