米拉·穆拉蒂的Thinking Machines推出Inkling,开放权重模型任何人都可访问
米拉·穆拉蒂创立的Thinking Machines Lab今日发布了其首个基础模型Inkling,这是一款完全开放权重的巨型模型,拥有9750亿参数(混合专家架构,活跃参数410亿)。该模型经过45万亿token的文本、图像、音频和视频训练,原生支持多模态输入但仅输出文本。Inkling旨在填补西方开源AI生态的空白,提供中国模型的替代方案。它具备'思考努力'控制和不确定性标记功能,可减少幻觉。开发者可通过Tinker API进行微调。Thinking Machines计划通过Tinker平台收费,而非按API调用计费,这可能颠覆当前主流AI商业模式。该模型在九个月内完成开发,使用英伟达GB300 NVL72系统训练。
米拉·穆拉蒂(Mira Murati)创立的Thinking Machines Lab Inc.今天发布了其首个基础模型Inkling,并向开发者开放完整权重,允许他们按需进行微调。Inkling是Thinking Machines完全从零开始训练的第一个模型,此前一年该公司主要因大规模融资以及与英伟达公司的合作而登上头条。
在博客文章中,Thinking Machines解释说,Inkling是一个混合专家模型,拥有9750亿个参数,但对于平均提示,它仅会调用其中一小部分——约410亿个参数——以更快处理任务并保持低成本。该公司表示,该模型在大约45万亿个文本、图像、音频和视频token上进行了训练,能够原生推理这四种输入,但输出仅限于文本,不过包括代码、样式化工件和结构化数据。
Inkling的发布表明,Thinking Machines希望为越来越多接受低成本中国AI模型的西方公司提供另一种选择。这是因为该模型似乎填补了西方开源AI生态系统中的一个空白,而该生态系统已远远落后于中国。自Meta Platforms Inc.放弃其Llama模型系列,转而对其最新AI系统采取更专有的方法以来,这一差距进一步扩大。
穆拉蒂此前是OpenAI Group PBC的首席技术官,于2024年9月离职。她一直强调,她的新公司致力于可访问性、定制化和多模态协作,这一点在Inkling上体现得淋漓尽致。由于Inkling可以以完整开放权重下载,开发者可以查看模型的完整代码库,并根据不同用例进行调整,而无需支付昂贵的许可费。它还具有“思考努力”控制功能,允许开发者进行权衡,例如牺牲处理速度以换取准确性。独特的是,该模型还会对其输出的不确定性进行标记,而不是简单地推送幻觉。
开发者可以直接在Tinker(该公司于10月推出的训练应用程序编程接口)上对模型进行微调。在早期测试结果中,Thinking Machines表明,尽管使用的token减少了三分之二,但Inkling在编码性能上与英伟达的Nemotron 3 Ultra模型相当。在与桥水联合基金的合件中,研究人员使用Tinker平台用专业金融数据微调了一个开放模型,最终得到一个低成本、轻量级的模型,在主要金融推理基准测试中获得了84.7%的惊人分数,性能优于最先进的专有替代方案,而成本不到它们的10%。
Thinking Machines表示,它在不到九个月的时间内从零开始开发了Inkling,远低于OpenAI和Anthropic PBC等竞争对手数年的开发时间线。在X上宣布该模型的帖子中,该公司解释说,该模型是在英伟达的GB300 NVL72系统上训练的,这是两家公司于3月宣布的合作伙伴关系的一部分。
Thinking Machines不打算通过按使用量计费的API向客户收费,而是计划通过Tinker(一项付费服务)产生收入,该服务使开发者能够轻松地为特定任务微调开放权重模型。这将是一个关键考验,将检验开放权重AI模型是否具备颠覆硅谷大型AI公司开创的封闭式付费访问模式的能力。
Constellation Research分析师Holger Mueller告诉SiliconANGLE,Thinking Machines的商业模式可能比Inkling模型本身更具创新性。'与竞争对手不同,它们对模型访问收费,而Thinking Machines则对Tinker平台收费,公司们很可能会想要使用该平台来定制Inkling以满足其特定用例,'Mueller说。'如果成功,这将进一步加速大型语言模型的商品化,企业将对此表示欢迎,因为这意味着它们能更容易地看到AI投资回报。这可能会真正撼动AI行业。'