旗艦模型並非總是更優
一位開發者在構建注重隱私的筆記應用時，對11種AI模型（包括本地和雲端）進行了基準測試，用於分析語音轉錄。他發現蘋果智慧等旗艦模型可能過度限制，而開源模型更具靈活性。Kimi K2.6綜合排名最高，但隱私仍是挑戰，因此採用了包括匿名化和加密在內的多層次方案。
開發者Tejas Kumar正在構建一款即時筆記應用，使用者只需點選按鈕即可在iPhone或Apple Watch上錄製語音，應用會將其轉換成文字，並提供摘要、待辦事項和待解答問題。整個過程依賴裝置端語音轉文字和AI分析。
最初，作者嘗試使用基於規則的演算法（如詞頻統計）來提取主題，但效果不佳，只能給出“知道”和“是”這樣的高頻詞彙。於是他轉向大型語言模型，但要求必須執行在裝置本地以保護隱私。然而，裝置的上下文視窗限制（如蘋果裝置模型約4000個token）使得無法直接處理長達數小時的錄音。為此，作者實現了分層Map-Reduce方法：先將轉錄文本切分成小段，每段單獨提取要點；再將所有要點合併，必要時對要點進行多層摘要，直到內容適合上下文視窗。
作者首先嚐試了蘋果智慧（Apple Intelligence），但當他輸入一段與妻子的私人對話（27分鐘）時，蘋果模型卻返回“檢測到可能不安全的內容”。即使將安全設定調到最寬鬆，仍然被拒絕。作者因此批評蘋果智慧“垃圾”，無法滿足基本需求。
隨後，他轉向開源模型Qwen3-4B，量化後約2.3GB，透過llama.rn完全在裝置上執行。但遇到了兩個問題：一是記憶體壓力，在8GB iPhone上透過新增特殊授權解決；二是模型自帶“思考”模板，導致所有token消耗在推理上，未能輸出結果，透過停用思考功能修復。然而，該模型生成的摘要質量依然較差。
為了找到最佳方案，作者進行了基準測試。他保持輸入一致（同一段27分鐘錄音的轉錄），透過OpenRouter測試了11個模型，包括裝置端的Qwen3-4B和10個雲端模型：Claude Sonnet 5、Opus 4.8、GPT-5.5 Pro、Gemini 3.1 Pro、Grok 4.3、DeepSeek V4 Pro、Qwen3-Max-Thinking、Kimi K2.6、GLM-4.7和GLM-5.2。每個模型使用相同提示，要求輸出結構化JSON以進行比較，並人工評分（A+, A, B等）。結果：Kimi K2.6綜合得分最高（平均A+），GPT-5.5 Pro在待辦事項提取上表現最佳，Qwen3-Max-Thinking在問題提取上領先。
在隱私方面，作者設計了多層防護。首先是裝置端匿名化，將人名對映為佔位符，只有裝置能還原。其次，所有資料在儲存前進行加密（每個筆記隨機256位金鑰，XChaCha20-Poly1305演算法），主金鑰由安全隔區保護，並透過Face ID解鎖。未來計劃利用WebAuthn PRF擴充套件實現多裝置同步。最後，作者希望使用機密計算環境（如Phala的Intel TDX+NVIDIA H100）執行開源模型，確保即使雲服務商也無法讀取資料。作為MVP，將先使用OpenRouter的零資料保留選項。
綜上所述，儘管頂級旗艦模型令人失望，但開源模型和精心設計的隱私架構提供了可行方案。Kimi K2.6在分析質量上領先，但隱私措施仍需要持續改進。