フラッグシップモデルが常に優れているわけではない
プライバシー重視のメモアプリを開発する著者が、音声文字起こしを分析するための11のAIモデル（オンデバイスとクラウド）をベンチマークしました。Apple Intelligenceのようなフラッグシップモデルは過度に制限的である一方、オープンウェイトモデルは柔軟性を提供することがわかりました。Kimi K2.6が総合的に最高評価を得ましたが、プライバシーは依然として課題であり、匿名化や暗号化を含む多層的なアプローチが採用されています。
開発者のTejas Kumar氏は、ボタンをタップするだけでiPhoneやApple Watchで録音した音声をテキストに変換し、要約、アクションアイテム、未解決の質問を抽出するリアルタイムノートアプリを構築しています。このプロセスはデバイス上の音声認識とAI分析に依存しています。
当初、著者は単語頻度に基づくヒューリスティックなアルゴリズムを試しましたが、「知っている」「です」といったトピックしか抽出できず、不十分でした。そこで大規模言語モデルの利用を検討しましたが、プライバシーを確保するためデバイス上で動作する必要がありました。しかし、Appleのオンデバイスモデルは約4000トークンのコンテキストウィンドウしかなく、27分の会話を一度に処理できません。この問題を解決するために、著者は階層的なMap-Reduce手法を採用しました。文字起こしを小さなチャンクに分割し、各チャンクからキーポイントを抽出。その後すべてのチャンクを結合し、必要に応じてさらに要約を繰り返すことで、長いコンテンツを扱えるようにしました。
最初にApple Intelligenceを試したところ、妻とのプライベートな27分間の会話が「安全でないコンテンツ」としてブロックされました。安全設定を最大限緩和しても拒否されたため、著者はApple Intelligenceを「ゴミ」と批判し、代わりにオープンウェイトモデルQwen3-4B（量子化後約2.3GB）をデバイス上で実行することにしました。ただし、メモリ不足とモデルの「思考」テンプレートによる出力欠如という2つの問題が発生しました。メモリ問題は特別なエンタイトルメントで解決し、思考は無効化することで修正しました。しかし、このモデルの出力品質は依然として低く、実用的ではありませんでした。
そこで、著者は11のモデル（デバイス上のQwen3-4Bと10のクラウドモデル）を同一の文字起こしでベンチマークしました。各モデルに同じプロンプトで構造化JSONを要求し、手動でスコアを付けました（A+, A, Bなど）。結果、Kimi K2.6が平均A+で総合トップ、アクションアイテム抽出ではGPT-5.5 Pro、質問抽出ではQwen3-Max-Thinkingが最高でした。
プライバシー対策として、著者は多層的な防御を設計しています。まず、デバイス上で名前をプレースホルダーにマッピングし、クラウドには匿名化されたデータのみが送信されます。次に、すべての保存データはXChaCha20-Poly1305で暗号化され、マスターキーはSecure EnclaveとFace IDで保護されます。将来的にはWebAuthn PRF拡張によるマルチデバイス同期を計画。最終的には、機密コンピューティング環境（Intel TDX + NVIDIA H100）でモデルを実行し、ベンダーもデータを読めないようにすることを目指しています。MVPでは、OpenRouterのゼロデータ保持オプションを利用します。
結局、フラッグシップモデルは期待外れでしたが、オープンソースモデルと堅牢なプライバシー設計により、実用的なソリューションが可能であることが示されました。