Kimi K3 在智能知识工作基准测试中击败 GPT-5.6 Sol
Artificial Analysis 发布了 AA-Briefcase 智能知识工作基准测试结果,Kimi K3 以 1547 Elo 排名第一,领先于 GPT-5.6 Sol 的 1495 分。该基准测试模拟真实商业工作流,评估模型在生成电子表格、演示文稿和备忘录等任务中的表现。
人工智能分析机构 Artificial Analysis 发布了一项名为 AA-Briefcase 的新型基准测试结果,该测试专注于评估 AI 模型在智能知识工作方面的能力。测试模拟了真实世界的商业工作流,要求模型完成诸如制作电子表格、演示文稿和备忘录等任务。在最新排名中,Kimi 公司开发的 Kimi K3 模型以 1547 的 Elo 得分位居榜首,击败了 OpenAI 的 GPT-5.6 Sol(得分 1495)和 Anthropic 的 Claude Fable 5(得分 1583,但排名第二)。
AA-Briefcase 基准测试包含四个多周的知识工作项目,总计 91 个任务,涉及数千个输入文件。模型需要在数据科学、产品管理和企业战略等领域完成专业工作流。每个任务都根据一组标准进行评分,包括是否遵循指令、正确使用证据、得出正确结论,以及交付物的分析质量和呈现质量。
Kimi K3 的表现尤其引人注目,因为它在成本效益方面也表现出色。根据测试数据,Kimi K3 每个任务的平均成本相对较低,同时保持了高水平的性能。相比之下,GPT-5.6 Sol 虽然性能强劲,但成本更高。Claude Fable 5 以 1583 分排名第一,但其成本也相对较高。
该基准测试还提供了按文件类型划分的详细结果。Kimi K3 在 Excel 和 PowerPoint 等文件类型上表现出色,展现了其在处理常见办公任务方面的优势。此外,Kimi K3 在工具调用效率方面也表现良好,平均每个任务的工具调用次数较少。
总体而言,AA-Briefcase 基准测试为评估 AI 模型在现实知识工作场景中的能力提供了有价值的参考。Kimi K3 的领先地位表明,中国 AI 模型在智能代理工作方面已达到世界领先水平。