Open Minis:我夢想中Siri AI本應成為的iOS智能代理
Open Minis是一款深度集成蘋果原生框架的iOS智能代理應用,它通過內置Linux終端和專門的命令行接口,實現了對日曆、家庭、健康、照片等系統組件的精準控制。作者展示了它如何調用HomeKit傳感器數據、結合照片與健康信息,甚至創建交互式地圖,其能力遠超當前Siri AI,堪稱前沿模型與iOS系統能力結合的典範。
Open Minis是一款專為iPhone和iPad設計的聊天機器人應用,但它遠不止是一個AI對話界面。通過巧妙利用蘋果官方為第三方開發者提供的系統框架API,Open Minis實現了對Reminders、Music、Calendar、Maps、HomeKit、HealthKit、Files等蘋果原生應用的深度控制,還能調用Vision(OCR)、Apple NLP、剪貼板、語音識別、NFC和藍牙等底層能力。這一切的基石是一個內嵌的Linux終端環境(基於iSH),它運行着為每個蘋果框架定製的命令行接口(CLI),讓大型語言模型(LLM)能夠像在桌面終端中一樣操作iOS系統。
與許多僅提供封閉聊天界面的AI包裝器不同,Open Minis最大的特點是開放和可配置。用户可以通過自然語言指令讓應用添加新模型、安裝Python包(如ffmpeg、yt-dlp)、使用Git和SSH,甚至接入MCP服務器。應用的文件系統以原生文件提供者形式出現在Files應用中,用户還可以掛載任意文件夾,讓AI讀寫文件。此外,Open Minis擁有基於Markdown文件的記憶系統和技能創建能力,能夠自我檢視和修改工作區,例如詢問它有哪些可用CLI,它會自動生成指南。
作者的親身體驗令人印象深刻。他讓Open Minis獲取家中的温度和濕度數據,模型通過HomeKit權限提示後,解析所有傳感器的原始數據並生成整潔的表格報告——而同一時刻Siri AI的反應卻含糊不清。另一個測試是讓AI結合照片和健康數據:它先回憶之前討論過的假期日期,然後篩選照片,找到一艘大船的照片,再查詢該日期HealthKit中的步行數據,最終給出答案。整個過程基於確定性代碼在設備上執行,既快速又無幻覺。
更富創意的是,作者要求Open Minis用MapKit JS將假期照片放在交互式地圖上。應用提示用户安全存儲MapKit開發者令牌後,收集照片元數據,幾分鐘內就生成了一個包含照片地圖的HTML文件。這種將大模型能力與iOS原生框架無縫結合的能力,正是Siri AI所欠缺的。
當然,Open Minis並非面向普通用户——它需要一定的技術背景來充分釋放潛力,而且界面仍有打磨空間(如推理步驟選擇器不夠直觀)。但作為一款獨立開發者作品,它已經展示了當AI不再被隔離在聊天框內,而是真正成為操作系統的一部分時,iOS設備能夠實現怎樣的自動化與智能。