近日，一款名為BaseRT的AI推理引擎引起了廣泛關注。該引擎專門針對蘋果最新的M5芯片進行了優化，聲稱在性能上實現了巨大飛躍。根據官方公佈的基準測試結果，BaseRT在M5平台上的推理速度比流行的llama.cpp快6.4倍，比MLX快3.9倍。這一成績凸顯了專用優化對於硬件性能發揮的重要性。
BaseRT的出現可能為在Apple設備上運行大型語言模型和其他AI應用提供更高效的方案。開發者可以期待更快的響應時間和更低的功耗。目前BaseRT已可通過Product Hunt獲取，相關討論和鏈接也已發佈。