英國AISI與CAISI對Kimi K3網路能力的初步評估
英國人工智慧安全研究所(UK AISI)與美國人工智慧標準與創新中心(CAISI)對Moonshot AI的最新模型Kimi K3進行了聯合評估,重點考察其網路能力。結果顯示,Kimi K3在漏洞利用開發和模擬網路攻擊任務中表現顯著低於最新的前沿網路能力模型,但優於GLM-5.2。Kimi K3的安全防護措施未能阻止其進行網路利用開發或攻擊操作。
英國人工智慧安全研究所(UK AISI)與美國人工智慧標準與創新中心(CAISI)近日聯合釋出了針對Moonshot AI最新模型Kimi K3的初步評估報告。該模型於2026年7月16日釋出,並計劃於2026年7月27日開源權重。評估聚焦於Kimi K3的網路能力,結果顯示其在多項基準測試中表現低於當前最先進的前沿模型,但優於同類開源模型GLM-5.2。
在漏洞利用開發方面,評估採用了卡內基梅隆大學開發的ExploitBench基準測試。該測試包含41個針對Chrome V8引擎(2023年後的漏洞)的任務,衡量模型在軟體利用鏈中的進展能力。Kimi K3的得分為32%,而GLM-5.2為24%,但最先進的前沿模型平均成功率達到更高水平。值得注意的是,Kimi K3未能在任何任務中實現任意程式碼執行(ACE),而前沿模型平均在20/41的任務中實現了ACE,這是漏洞利用中最嚴重的後果。
在模擬網路攻擊測試“The Last Ones”(TLO)中,研究人員構建了一個包含32個步驟、4個子網和約20臺主機的企業網路環境。Kimi K3平均僅到達第17步,而最強大的美國模型平均到達28.5步。在10次嘗試中,Kimi K3有1次成功完成了整個攻擊路徑,表明其具備自主攻擊小型且防禦薄弱的企業系統的能力。然而,TLO環境缺乏主動防禦和防禦工具,且存在預設的攻擊路徑,與現實環境存在差異。
此外,評估發現Kimi K3的安全防護措施未能阻止其嘗試網路利用開發或進攻性網路操作。儘管模型在整體能力上低於前沿模型,但其在開源模型中表現出相對較強的網路能力。UK AISI和CAISI指出,這些結果為初步評估,基於有限的公共和私有基準測試,未來將進行更全面的分析。
Kimi K3的總體網路能力置信區間較大,因為其能力僅從單個基準(ExploitBench,41個任務)中估算,而其他模型的能力來自更多工。美國的閉源模型在評估時關閉了系統級安全措施,以測量最大能力,而公開版本則保留了這些措施。由於Kimi K3的託管設定特殊性,評估僅選擇了部分網路測試。