AI News HubLIVE
站内改写2 分钟阅读

AI意见分歧指数:8个模型对“最佳工具”的认同次数为0

一个公开、严谨、持续更新的测量指标,记录不同AI引擎在推荐B2B工具时的分歧程度。最新数据显示,在16个类别中,8个AI模型从未就同一最佳工具达成一致,平均配对一致性仅为44%。该指数采用可复现的研究方法,每月更新,并提供原始数据。

来源Hacker News AI作者: brainbootdev

AI模型在推荐B2B软件工具时的分歧程度,如今有了一个公开、可复现的测量指标——AI分歧指数。该指数由Vincent Wesley Couey创建,每月更新一次,旨在量化不同AI引擎对B2B软件工具推荐的共识程度。其核心发现令人惊讶:在记录的16个B2B软件类别中,8个主流AI模型从未就同一个“最佳工具”达成一致。

具体数据显示,引擎间的平均配对一致性仅为44%,意味着两个模型推荐同一工具的概率不到一半。Fleiss' kappa系数为0.41,属于中等一致性水平。更值得注意的是,有163个工具仅被一个模型提及,这凸显了AI推荐之间的巨大分歧。该指数基于2026年6月19日和7月8日两次捕获的样本,涉及8个模型和16个类别,研究方法完全开放,原始回答以JSONL格式保留,任何人都可以复现计算结果。

与传统品牌排名不同,AI分歧指数不关注“赢家”,而是聚焦于分歧本身。它记录每个AI引擎在给定类别中推荐的工具,然后计算统计上的一致性指标,如配对一致性和Fleiss' kappa。项目还包含一个“分歧地图”,以矩阵形式展示每个模型在每个类别中的推荐,矩阵按共识程度从高到低排列,用户可以直观看到哪些类别分歧最大。

除了核心指数,该项目还发布了一系列相关数据集,包括AI创意权利矛盾指数、AI引用分析、LLMOps栈比较、向量数据库对比等。所有数据集均分配了DOI,遵循CC-BY-4.0许可证,确保可引用和可复现。研究方法强调严谨性:每个问题都向多个AI引擎提出,答案逐字记录,只有至少三个引擎回答的类别才会被发布。工具只有被至少三个引擎提及才被计入,避免了数据夸大。

对于希望在指数中展示其工具的供应商,研究提供了“Verified by Lattice”徽章。任何达到最低阈值的供应商都可以免费获得一个徽章,显示其工具被多少AI引擎提及。徽章链接回原始数据,确保可核查。赞助位被明确标注,不会影响实际排名。该项目为理解和评估AI推荐系统的可靠性提供了独特的视角,帮助用户认识到AI建议背后的不确定性。