旗舰模型并非总是更优
一位开发者在构建注重隐私的笔记应用时，对11种AI模型（包括本地和云端）进行了基准测试，用于分析语音转录。他发现苹果智能等旗舰模型可能过度限制，而开源模型更具灵活性。Kimi K2.6综合排名最高，但隐私仍是挑战，因此采用了包括匿名化和加密在内的多层次方案。
开发者Tejas Kumar正在构建一款实时笔记应用，用户只需点击按钮即可在iPhone或Apple Watch上录制语音，应用会将其转换成文字，并提供摘要、待办事项和待解答问题。整个过程依赖设备端语音转文字和AI分析。
最初，作者尝试使用基于规则的算法（如词频统计）来提取主题，但效果不佳，只能给出“知道”和“是”这样的高频词汇。于是他转向大型语言模型，但要求必须运行在设备本地以保护隐私。然而，设备的上下文窗口限制（如苹果设备模型约4000个token）使得无法直接处理长达数小时的录音。为此，作者实现了分层Map-Reduce方法：先将转录文本切分成小段，每段单独提取要点；再将所有要点合并，必要时对要点进行多层摘要，直到内容适合上下文窗口。
作者首先尝试了苹果智能（Apple Intelligence），但当他输入一段与妻子的私人对话（27分钟）时，苹果模型却返回“检测到可能不安全的内容”。即使将安全设置调到最宽松，仍然被拒绝。作者因此批评苹果智能“垃圾”，无法满足基本需求。
随后，他转向开源模型Qwen3-4B，量化后约2.3GB，通过llama.rn完全在设备上运行。但遇到了两个问题：一是内存压力，在8GB iPhone上通过添加特殊授权解决；二是模型自带“思考”模板，导致所有token消耗在推理上，未能输出结果，通过禁用思考功能修复。然而，该模型生成的摘要质量依然较差。
为了找到最佳方案，作者进行了基准测试。他保持输入一致（同一段27分钟录音的转录），通过OpenRouter测试了11个模型，包括设备端的Qwen3-4B和10个云端模型：Claude Sonnet 5、Opus 4.8、GPT-5.5 Pro、Gemini 3.1 Pro、Grok 4.3、DeepSeek V4 Pro、Qwen3-Max-Thinking、Kimi K2.6、GLM-4.7和GLM-5.2。每个模型使用相同提示，要求输出结构化JSON以进行比较，并人工评分（A+, A, B等）。结果：Kimi K2.6综合得分最高（平均A+），GPT-5.5 Pro在待办事项提取上表现最佳，Qwen3-Max-Thinking在问题提取上领先。
在隐私方面，作者设计了多层防护。首先是设备端匿名化，将人名映射为占位符，只有设备能还原。其次，所有数据在存储前进行加密（每个笔记随机256位密钥，XChaCha20-Poly1305算法），主密钥由安全隔区保护，并通过Face ID解锁。未来计划利用WebAuthn PRF扩展实现多设备同步。最后，作者希望使用机密计算环境（如Phala的Intel TDX+NVIDIA H100）运行开源模型，确保即使云服务商也无法读取数据。作为MVP，将先使用OpenRouter的零数据保留选项。
综上所述，尽管顶级旗舰模型令人失望，但开源模型和精心设计的隐私架构提供了可行方案。Kimi K2.6在分析质量上领先，但隐私措施仍需要持续改进。