BaseRT - Apple M5優化版
BaseRT在Apple M5芯片上實現顯著性能提升,比llama.cpp快6.4倍,比MLX快3.9倍。
近日,一款名為BaseRT的AI推理引擎引起了廣泛關注。該引擎專門針對蘋果最新的M5芯片進行了優化,聲稱在性能上實現了巨大飛躍。根據官方公佈的基準測試結果,BaseRT在M5平台上的推理速度比流行的llama.cpp快6.4倍,比MLX快3.9倍。這一成績凸顯了專用優化對於硬件性能發揮的重要性。
BaseRT的出現可能為在Apple設備上運行大型語言模型和其他AI應用提供更高效的方案。開發者可以期待更快的響應時間和更低的功耗。目前BaseRT已可通過Product Hunt獲取,相關討論和鏈接也已發佈。