旗艦模型並非總是更優
一位開發者在構建注重隱私的筆記應用時，對11種AI模型（包括本地和雲端）進行了基準測試，用於分析語音轉錄。他發現蘋果智能等旗艦模型可能過度限制，而開源模型更具靈活性。Kimi K2.6綜合排名最高，但隱私仍是挑戰，因此採用了包括匿名化和加密在內的多層次方案。
開發者Tejas Kumar正在構建一款實時筆記應用，用户只需點擊按鈕即可在iPhone或Apple Watch上錄製語音，應用會將其轉換成文字，並提供摘要、待辦事項和待解答問題。整個過程依賴設備端語音轉文字和AI分析。
最初，作者嘗試使用基於規則的算法（如詞頻統計）來提取主題，但效果不佳，只能給出“知道”和“是”這樣的高頻詞彙。於是他轉向大型語言模型，但要求必須運行在設備本地以保護隱私。然而，設備的上下文窗口限制（如蘋果設備模型約4000個token）使得無法直接處理長達數小時的錄音。為此，作者實現了分層Map-Reduce方法：先將轉錄文本切分成小段，每段單獨提取要點；再將所有要點合併，必要時對要點進行多層摘要，直到內容適合上下文窗口。
作者首先嚐試了蘋果智能（Apple Intelligence），但當他輸入一段與妻子的私人對話（27分鐘）時，蘋果模型卻返回“檢測到可能不安全的內容”。即使將安全設置調到最寬鬆，仍然被拒絕。作者因此批評蘋果智能“垃圾”，無法滿足基本需求。
隨後，他轉向開源模型Qwen3-4B，量化後約2.3GB，通過llama.rn完全在設備上運行。但遇到了兩個問題：一是內存壓力，在8GB iPhone上通過添加特殊授權解決；二是模型自帶“思考”模板，導致所有token消耗在推理上，未能輸出結果，通過禁用思考功能修復。然而，該模型生成的摘要質量依然較差。
為了找到最佳方案，作者進行了基準測試。他保持輸入一致（同一段27分鐘錄音的轉錄），通過OpenRouter測試了11個模型，包括設備端的Qwen3-4B和10個雲端模型：Claude Sonnet 5、Opus 4.8、GPT-5.5 Pro、Gemini 3.1 Pro、Grok 4.3、DeepSeek V4 Pro、Qwen3-Max-Thinking、Kimi K2.6、GLM-4.7和GLM-5.2。每個模型使用相同提示，要求輸出結構化JSON以進行比較，並人工評分（A+, A, B等）。結果：Kimi K2.6綜合得分最高（平均A+），GPT-5.5 Pro在待辦事項提取上表現最佳，Qwen3-Max-Thinking在問題提取上領先。
在隱私方面，作者設計了多層防護。首先是設備端匿名化，將人名映射為佔位符，只有設備能還原。其次，所有數據在存儲前進行加密（每個筆記隨機256位密鑰，XChaCha20-Poly1305算法），主密鑰由安全隔區保護，並通過Face ID解鎖。未來計劃利用WebAuthn PRF擴展實現多設備同步。最後，作者希望使用機密計算環境（如Phala的Intel TDX+NVIDIA H100）運行開源模型，確保即使雲服務商也無法讀取數據。作為MVP，將先使用OpenRouter的零數據保留選項。
綜上所述，儘管頂級旗艦模型令人失望，但開源模型和精心設計的隱私架構提供了可行方案。Kimi K2.6在分析質量上領先，但隱私措施仍需要持續改進。