近日，一款名为BaseRT的AI推理引擎引起了广泛关注。该引擎专门针对苹果最新的M5芯片进行了优化，声称在性能上实现了巨大飞跃。根据官方公布的基准测试结果，BaseRT在M5平台上的推理速度比流行的llama.cpp快6.4倍，比MLX快3.9倍。这一成绩凸显了专用优化对于硬件性能发挥的重要性。
BaseRT的出现可能为在Apple设备上运行大型语言模型和其他AI应用提供更高效的方案。开发者可以期待更快的响应时间和更低的功耗。目前BaseRT已可通过Product Hunt获取，相关讨论和链接也已发布。