每一个AI可见性工具都在对你撒谎

我是一名经验丰富的软件工程师，在构建和调试测量系统方面投入了足够多的时间，深知何时一个仪表盘在要求你相信一个它无法支撑的数字。如今，一个新的软件品类承诺告诉品牌他们在大模型产品（如ChatGPT、Claude、Gemini、Perplexity以及Google的AI答案）中的可见程度。然后，它将这些混乱的系统转化为诸如提及率、引用率、声量占比或排名等整齐划一的说法。

当一个工具声称你排在所在类别的第四位、本周上升两位、或者拥有17%的可见度而竞争对手有31%时，我并不认为这些信号毫无价值，而是认为这种精确性是编造出来的。这些系统是嘈杂的、个性化的、地理相关的、非确定性的，并且不断变化，因此一个整洁的排行榜数字隐藏了工程师真正想要检查的东西：分布、方法论、方差和原始证据。

大多数供应商试图测量重要的东西，但机制通常比仪表盘承认的要弱。如果一个工具声称能展示“客户在ChatGPT或Claude中看到的内容”，它很可能是在抓取消费者应用或调用API。一次抓取捕获了一个合成会话，而一次API调用使用了与你的客户不同的表面。两者都能产生有用的方向性信号，特别是当它们揭示出在商业提示词上的不可见性或某个地理区域的空白时，但两者都不应该在不展示其工作过程的情况下被当作精确、稳定的真相出售。

前端抓取的问题

抓取ChatGPT或Claude的前端一开始听起来很有说服力。供应商可以如实说，它打开了应用，提出了问题，并记录了产品返回的内容。这更接近真实用户看到的表面，但它仍然测量的是一个受控的表面。

一次抓取来自一个账户或一个受控的账户池。这意味着一个历史状态、一个记忆状态、一个订阅层级、一个地理位置、一个浏览器会话和一个提示词。改变其中任何一个，答案都可能改变。一个真实买家询问“最适合种子期初创公司的CRM”与一个干净的浏览器从数据中心IP询问“最佳CRM软件”是不同的工具。

大规模抓取引入了更多偏差。在任何有意义的规模下，工作必须从某处运行：云机器、代理路由、托管浏览器、无头会话或其他自动化层。这个自动化层会渗入测量。集中的IP模式、重复登录、奇怪的会话节奏、速率限制压力，以及AI产品本身可能存在的反滥用处理。

运营者必须做出选择。干净的账户是可重复的，但不像客户。有历史的账户有历史记录，控制更弱。一个提出数千个类别提示词的基准账户也会创建自己的个性化轨迹。过一段时间后，这个账户的整个生命周期都变成了基准流量。

这对本地和商业提示词影响最大。“我附近最好的商业屋顶公司”随地点变化。“纽约市最佳AEO代理”也随地点变化。答案取决于用户的地理位置、检索系统、账户以及那一刻拉取的来源。一个单一的前端答案只是一个实验室样本。

相同提示词在不同运行中变化

对AI可见性排名最简单的辩护是：我们每周问相同的问题，统计你是否出现。这只在相同问题有稳定答案的前提下有效。但相同的词语往往产生不同的答案。

即使是温度为零的大模型调用在生产环境中也不是完全稳定的。Thinking Machines Lab解释了技术原因之一：批处理和内核行为在生产负载下可能变化。他们的例子显示相同的温度零请求产生了多个独特的补全。

SparkToro和Gumshoe看到了相同问题的营销版本。他们让志愿者通过ChatGPT、Claude和Google的AI产品重复运行商业提示词。他们的研究发现品牌推荐在不同运行中变化很大。

这是核心测量问题。如果从同一系统的下一次抽取可能命名不同的品牌集，那么“你排名第四”就变成了分布中的一个样本。一个诚实的仪表盘应该显示分布。

消费者应用和API行为不同

一些工具跳过浏览器抓取，转而调用供应商API。运营案例很强大。API调用更容易重复、审核、大规模运行成本更低，且不太可能因网页应用变化而中断。

权衡：API和消费者应用行为不同。

消费者产品可能有记忆、账户个性化、模型路由、网页检索、位置推断、购物模块、本地模块、引用和产品特定展示。API给你一个可编程的模型调用，带有你启用的工具和参数。OpenAI的API文档要求你在需要接地检索时添加诸如网页搜索等工具。Google的Gemini API有其自己的接地和搜索配置。

差距是双向的。原始API调用可能低估应用所知，因为它浏览方式不同。浏览器抓取可能高估真实用户所见，因为它捕获了一个个性化会话并声称具有代表性。

API可以是受控测量的正确表面。就把它当作那样销售。避免称其为“消费者应用向你的买家展示的内容。”

提示集制造了分数

AI可见性工具监控一个提示集。他们采样市场，而不是覆盖真实买家问题的完整长尾。

提示集是决定性的。

如果我追踪“纽约市最佳AEO代理”、“AI搜索优化顾问”和“答案引擎优化审计”，我得到一幅图景。如果我追踪“SEO机构”、“数字营销公司”和“AI营销软件”，我得到另一幅。两个提示集都可以有效。它们回答不同的问题。

标题数字取决于选择的提示词、它们的权重、运行频率和竞争对手集。Profound自己的提示词设计指南说其用户通常追踪100到1000个提示词，几百个是典型的。仪表盘正在对市场进行采样。

评分公式同样重要。一个仪表盘可以评分提及频率。另一个可以加权引用位置。另一个可以计数来源链接。另一个可以混合情感。Digital Applied的AI声量占比框架给出了一个清晰的例子：相同品牌、相同数据，基于提及的声量占比为20%，基于位置的为16.8%，基于引用的为31.4%。

相同证据。三个标题数字。三个竞争地位。

从业者出于充分理由持怀疑态度。在同一个Digital Applied文章中，SALT.agency的Dan Taylor批评供应商在一个人工环境中测量小且静态的提示集。Digiday报道了买家方面相同的运营问题。/prompt的CEO Paul Dyer说，如果你给三个工具相同的提示词，你会得到三个不同的答案。

没有提示词列表、每个提示词的运行次数、地理位置、模型、账户状态和评分公式，仪表盘展示的是一个构建的指标。构建的指标可能有用，但需要一个标签。

地理位置打破了排行榜

对于本地、区域和服务区域企业，地理位置改变了问题。一位在布鲁克林、奥斯汀、伦敦或密歇根农村的用户可能对相同词语得到不同的推荐，因为答案引擎推断本地意图。

一个单一的全球可见性排名往往毫无意义。“在ChatGPT中可见”在哪里？从哪个用户位置？在哪个本地检索上下文中？使用哪个城市或服务区域短语？

前端抓取使这一点尤其混乱。从云服务器运行的合成浏览器会话看起来不像你关心的市场上的买家。你可以尝试代理。你可以尝试账户池。你可以尝试浏览器自动化。现在你的“真相”取决于前端是否接受了你的抓取器讲述的位置故事。

基于API的测量在这里有一条更清晰的道路：在供应商支持的地方传递明确的位置上下文，并在你关心的地理区域运行相同的提示词。你得到一个可控的位置变量，而不是一个偶然的抓取器伪影。Canonry就走这条路。

为什么本地执行对本地SEO很重要

这是Canonry以本地为先的设计改变测量问题的地方。

大多数托管仪表盘从供应商基础设施运行探测。对于全国性的SaaS查询，这可能没问题。对于本地客户，它常常是错误的工具。皇后区的管道工、奥斯汀的牙医或密歇根的屋顶承包商需要理解买家在服务区域内看到的答案。另一个地区的抓取集群是薄弱的替代品。

Canonry可以在市场上的机器上运行。代理可以从自己的办公室、技术员的笔记本电脑或更接近目标消费者的另一台机器上运行检查。非确定性仍然存在。API结果可能仍然不同于消费者UI。胜利更窄且更实际：从测量中去掉外包的云地理位置。

对于本地SEO和本地AEO，这个细节很重要。测量环境越接近买家环境，你就越不需要相信代理故事。你仍然可以在供应商支持的地方传递明确的位置上下文。当测试从相关市场的机器上运行时，偶然的信号与有意的信号对齐。

这使得Canonry对于服务本地客户的运营商更准确。如果你的客户是芝加哥的HVAC公司、布鲁克林的酒店集团或密歇根的屋顶承包商，你可以从不同的地理位置运行相同的提示集。差异正是你试图测量的东西。

模型漂移使趋势线变成虚构

即使你处理了采样、个性化、API与应用的差异、提示词选择和地理位置，工具本身仍然变化。

熟悉产品名背后的模型可以更新、路由、回滚或静默调整。检索系统变化。引用行为变化。产品界面变化。AI可见性仪表盘中的周环比变动可能意味着你的内容改进了，也可能意味着模型改变了、检索层改变了或产品开始以不同方式回答提示词。

这是真实可测量的。Chen、Zaharia和Zou的论文《ChatGPT的行为如何随时间变化？》比较了2023年3月和6月的GPT-3.5和GPT-4版本。他们发现在相同的公共模型名称下，任务之间存在巨大的行为变化。一个例子：GPT-4在质数准确性上从3月的84%下降到6月的51%。将其视为漂移的证据，而不是对今天模型质量的当前估计。

相同的模式出现在产品行为中。在2025年4月29日的一篇帖子中，OpenAI表示已回滚了前一周的ChatGPT中GPT-4o更新，因为被移除的版本过于讨喜和迎合。外部的可见性仪表盘通常只在此类产品变化已经扭曲趋势线后才看到它们。

从外部看，这些影响很难分离。一个仪表盘可以告诉你数字移动了。它通常无法证明原因。

数字仍然可能有用。问题开始于工具声称解释为什么移动了。

这些工具可以诚实地告诉你什么

这个品类可能有用。它需要停止过度推销精确性。

AI可见性监测可以支持有用的结论：

我们对于买家实际询问的商业提示词是不可见的。 我们在品牌提示词上经常出现，但在类别提示词上很少。 一个竞争对手被引用的频率远高于我们。 Claude能看到我们，而ChatGPT看不到。 我们在纽约出现，而洛杉矶是空白的。 内容或架构变更似乎与多次运行中更好的引用频率相关。

这些是方向性的、概率性的发现。它们有用。它们帮助团队

[因AI成本控制截断]