Appleは、第3世代となるApple Foundation Models（AFM）ファミリーを発表しました。このシリーズは、Apple Intelligenceの核として設計され、オペレーティングシステムに深く統合され、プライバシーを重視しています。5つのモデルから構成され、Googleとの協力で開発されました。
オンデバイスモデルとして、AFM 3 Core（30億パラメータの密モデル）とAFM 3 Core Advanced（200億パラメータのスパースモデル）があります。AFM 3 Core Advancedは、Appleの最新研究に基づき、指示追従プルーニング（IFP）技術を用いた新しいスパース活性化アーキテクチャを採用しています。このアーキテクチャでは、ほとんどの重みをフラッシュメモリに保存し、DRAMには必要な専門家（エキスパート）のみをロードすることで、デバイスのメモリ制限を超えた大規模モデルを実現します。推論時には、タスクの難易度に応じて活性化するパラメータ数を動的に調整します。
サーバーベースモデルには、AFM 3 Cloud、ADM 3 Cloud（画像生成・編集用）、およびAFM 3 Cloud Proがあります。AFM 3 Cloudは、並列トラック混合エキスパート（PT-MoE）アーキテクチャを基盤とし、マルチモーダル推論とコンテキスト理解を大幅に向上させています。ADM 3 Cloudは高品質な画像生成、編集、Genmojiをサポートし、強力な制御性とパラメータ効率を備えています。AFM 3 Cloud Proは最も高性能なサーバーモデルであり、エージェンティックツール使用や複雑な推論を担当し、Google Cloud上のNVIDIA GPUで動作するよう最適化されています。
トレーニングデータには、公開情報、ライセンスデータ、オープンソースデータ、研究データ、合成データが使用され、ユーザーのプライベートデータは使用されていません。また、Webパブリッシャーのオプトアウト権を尊重しています。すべてのモデルは、事前トレーニングと事後トレーニング（教師ありファインチューニングと多段階強化学習）を経て、ターゲットハードウェア（Apple SiliconまたはNVIDIA GPU）向けに量子化認識トレーニングで最適化されています。
評価結果では、第3世代モデルは前世代を大幅に上回っています。テキスト能力において、AFM 3 Coreは45.6%（前世代23.3%）、AFM 3 Cloudは64.7%（前世代8.7%）のユーザー選好率を達成しました。画像理解では、AFM 3 Coreが61%、AFM 3 Cloudが37.8%の選好率でした。AFM 3 Cloud ProはAFM 3 Cloudと比較してMathタスクで14%の改善を示しました。また、AFM 3 Core Advancedのテキスト読み上げ品質はMOS 4.15と、前世代から0.28の向上を見せています。これらのモデルは、よりインテリジェントで自然なApple体験を実現します。