近日，一款名為BaseRT的AI推理引擎引起了廣泛關注。該引擎專門針對蘋果最新的M5晶片進行了最佳化，聲稱在效能上實現了巨大飛躍。根據官方公佈的基準測試結果，BaseRT在M5平臺上的推理速度比流行的llama.cpp快6.4倍，比MLX快3.9倍。這一成績凸顯了專用最佳化對於硬體效能發揮的重要性。
BaseRT的出現可能為在Apple裝置上執行大型語言模型和其他AI應用提供更高效的方案。開發者可以期待更快的響應時間和更低的功耗。目前BaseRT已可透過Product Hunt獲取，相關討論和連結也已釋出。