Kimi K3：我們仍能從鵜鶘基準中學到什麼
中國AI實驗室Moonshot AI釋出了Kimi K3模型，擁有2.8萬億引數，自稱首個“開源3T級模型”。該模型在多個基準測試中表現優異，但定價較高。作者透過“鵜鶘騎腳踏車”測試，展示了模型的推理成本、隱性系統提示和視覺能力，並反思了這一非正式基準的侷限性。
Moonshot AI於2026年7月16日釋出了其最新大語言模型Kimi K3，宣稱擁有2.8萬億引數，並將其稱為首個“開源3T級模型”。該模型目前可透過官方網站和API使用，開放權重版本預計在2026年7月27日釋出。Moonshot自稱K3在多項基準測試中超越了Claude Opus 4.8 max和GPT-5.5 high，但不及Claude Fable 5和GPT-5.6 Sol。
據Artificial Analysis報告，K3在長期知識工作評估中達到Elo 1547分，較Kimi K2.6提升732分，僅次於Claude Fable 5。其每任務成本約0.94美元，與GPT-5.6 Sol的1.04美元相近，約為Opus 4.8的一半，但高於開源同類模型。值得注意的是，K3在Artificial Analysis Intelligence Index上的token使用量減少了21%。
在定價方面，K3以每百萬輸入3美元和每百萬輸出15美元的價格，與Anthropic的Claude Sonnet系列持平，成為目前中國AI實驗室最昂貴的模型。相比之下，其前代Kimi K2.6的定價僅為每百萬輸入0.95美元、每百萬輸出4美元。
作者Simon Willison使用OpenRouter代理，透過LLM CLI工具生成了一個鵜鶘騎腳踏車的SVG影像，以此測試模型。此次測試輸入95個token，輸出16658個token（其中13241個為推理token），總成本約25美分。K3還支援影像輸入，作者將生成的SVG截圖作為輸入，模型成功生成了詳細且準確的alt文本。
作者反思了自己21個月來使用的“鵜鶘騎腳踏車”基準測試。該測試最初只是玩笑，但意外地與模型實際能力存在相關性。然而，這種相關性已逐漸減弱，例如GLM-5.2在測試中超過了Claude Fable 5。作者強調，該基準無法評估當前模型最關鍵的智慧體工具呼叫能力。儘管如此，作者認為該測試仍有一定價值：它促使作者實際試用模型，提供粗略的成本和推理估計，驗證模型生成有效SVG和基礎幾何空間感知的能力（尤其對輕量模型），並且在同一模型家族中可觀察到改進。例如，K3生成的鵜鶘明顯優於Kimi 2.5。此外，鵜鶘測試結果已成為Hacker News上的一個傳統趣談。