裝置端智慧:在Apple平臺上交付本地AI,經編譯器驗證
本書《裝置端智慧》由Roberto Gutierrez撰寫,專注於在Apple裝置上部署本地AI模型,提供編譯器驗證的程式碼片段、基準測試和完整的生命週期指導。涵蓋模型選擇、記憶體熱管理、隱私架構及App Review注意事項,適合iOS開發團隊。
本書《裝置端智慧:在Apple平臺上交付本地AI,經編譯器驗證》由資深iOS工程師Roberto Gutierrez撰寫,旨在幫助開發者在Apple生態系統中成功部署本地AI模型。與官方文件不同,本書不僅關注編譯透過,更注重實際落地中的各項細節,包括記憶體預算、上下文視窗溢位、可用性降級策略以及系統更新帶來的模型變更。
全書分為四個部分共十二章,並附帶三個實用工具。第一部分“決策”涵蓋本地AI的經濟性、延遲下限和能力天花板,並提供一個決策矩陣用於選擇Apple的免費模型、開源模型或雲端API。第二部分“基礎模型在生產中”深入探討引導生成、工具呼叫、會話管理及裝置矩陣的可用性。第三部分“擁有模型”介紹如何使用MLX Swift匯入自有模型,並將Ollama作為開發基礎設施。第四部分“發貨”聚焦記憶體、熱管理、電池、隱私架構和無需雲端的迴歸評估。
本書的獨特價值在於所有程式碼示例均經過編譯器對實際SDK的驗證,並糾正了Apple示例和流行部落格中已失效的部分。書中還包含了可重複執行的基準測試資料和完整的錯誤排查表。定價方面,個人版$59,含程式碼和基準資料集版$99,團隊版(最多10人)$199,並提供30天無理由退款。免費第三章提供了首個裝置端功能的完整實現,包括可用性處理、型別化引導生成及SwiftUI流式輸出。作者Roberto Gutierrez擁有超過12年Apple平臺開發經驗,日常使用Ollama和MLX進行本地推理,書中內容均來自實戰積累。
書中還詳細回答了常見問題,例如:所有內容是否會在下一次WWDC上改變?部分會,因此更新免費且程式碼鎖定精確的依賴版本。iOS 27的材料將作為免費修訂版提供。為什麼需要花$99買書?因為文件只描述API,而本書涵蓋API文件未涉及的內容:選擇哪個棧及原因、導致應用在二十次對話後崩潰的記憶體預算、避免被App Store拒絕的審查要點、捕捉Apple在底層更換模型的評估工具,以及文件未及時跟上的API偏移,均經過編譯器驗證。本書專注於1-8B引數模型,明確指出其侷限性,並在第一章提供何時仍應使用雲端的決策框架。執行程式碼需要macOS 26+、Xcode 26+、Apple Silicon;評估和基準工具可在任何M系列Mac上執行,演示應用需要啟用Apple Intelligence。支援Ollama的Mac(任何M系列,記憶體越大越好)可解鎖第9-12章的工作流程。