Kimi K3：我们仍能从鹈鹕基准中学到什么
中国AI实验室Moonshot AI发布了Kimi K3模型，拥有2.8万亿参数，自称首个“开源3T级模型”。该模型在多个基准测试中表现优异，但定价较高。作者通过“鹈鹕骑自行车”测试，展示了模型的推理成本、隐性系统提示和视觉能力，并反思了这一非正式基准的局限性。
Moonshot AI于2026年7月16日发布了其最新大语言模型Kimi K3，宣称拥有2.8万亿参数，并将其称为首个“开源3T级模型”。该模型目前可通过官方网站和API使用，开放权重版本预计在2026年7月27日发布。Moonshot自称K3在多项基准测试中超越了Claude Opus 4.8 max和GPT-5.5 high，但不及Claude Fable 5和GPT-5.6 Sol。
据Artificial Analysis报告，K3在长期知识工作评估中达到Elo 1547分，较Kimi K2.6提升732分，仅次于Claude Fable 5。其每任务成本约0.94美元，与GPT-5.6 Sol的1.04美元相近，约为Opus 4.8的一半，但高于开源同类模型。值得注意的是，K3在Artificial Analysis Intelligence Index上的token使用量减少了21%。
在定价方面，K3以每百万输入3美元和每百万输出15美元的价格，与Anthropic的Claude Sonnet系列持平，成为目前中国AI实验室最昂贵的模型。相比之下，其前代Kimi K2.6的定价仅为每百万输入0.95美元、每百万输出4美元。
作者Simon Willison使用OpenRouter代理，通过LLM CLI工具生成了一个鹈鹕骑自行车的SVG图像，以此测试模型。此次测试输入95个token，输出16658个token（其中13241个为推理token），总成本约25美分。K3还支持图像输入，作者将生成的SVG截图作为输入，模型成功生成了详细且准确的alt文本。
作者反思了自己21个月来使用的“鹈鹕骑自行车”基准测试。该测试最初只是玩笑，但意外地与模型实际能力存在相关性。然而，这种相关性已逐渐减弱，例如GLM-5.2在测试中超过了Claude Fable 5。作者强调，该基准无法评估当前模型最关键的智能体工具调用能力。尽管如此，作者认为该测试仍有一定价值：它促使作者实际试用模型，提供粗略的成本和推理估计，验证模型生成有效SVG和基础几何空间感知的能力（尤其对轻量模型），并且在同一模型家族中可观察到改进。例如，K3生成的鹈鹕明显优于Kimi 2.5。此外，鹈鹕测试结果已成为Hacker News上的一个传统趣谈。