評価可能性の理論に向けて:テストデータが訓練に使われた場合のブラックボックスモデル評価の新枠組み
本論文は、テストセットが訓練から留保されているという仮定なしに評価可能性の概念を形式化し、テストサンプルが訓練に使用された可能性がある場合にブラックボックスモデルを正確に評価できるかどうかを検討する。出力のみにアクセスする場合の評価可能条件を完全に特徴づけ、追加のクエリアクセスが評価能力を高めることを示し、プログラムテストの自己修正器との関連を明らかにする。
ソース詳細
AI News Hub は Apple Machine Learning Research の AI 更新を追跡し、ソース状態、利用範囲、収集方法、公開記事を表示します。
Official research source; confirm reuse terms before enabling full body display.
本論文は、テストセットが訓練から留保されているという仮定なしに評価可能性の概念を形式化し、テストサンプルが訓練に使用された可能性がある場合にブラックボックスモデルを正確に評価できるかどうかを検討する。出力のみにアクセスする場合の評価可能条件を完全に特徴づけ、追加のクエリアクセスが評価能力を高めることを示し、プログラムテストの自己修正器との関連を明らかにする。
本研究は、状態空間モデルのゲーティング機構が、重み内の記憶解を優先的に学習させ、アーキテクチャ上の制限がない場合でも正しい文脈内学習への収束を遅らせるか妨げることを理論と実験で示す。一方、ゲーティングは長い系列長への汎化を改善するのにしばしば有益である。
Appleなどの研究者がNeurIPS 2026ワークショップで、パーソナライズされた文章スタイル課題におけるLLM審査モデルを評価。審査品質はMMLUで測る汎用能力と弱い相関(Pearson ρ≤0.2)しか示さず、執筆課題や評価基準によって変動。ペア比較は独立採点より一貫性と性能が高い。最強のLLMが必ずしも人間評価を最も忠実に再現しないことも判明した。
Appleの研究者らはICML 2026で、最大内積検索(MIPS)のサポート関数を学習する小型ニューラルネットワークを訓練し、RAGなどの検索を高速化する手法を発表した。高い再現率を維持しつつ遅延を大幅に削減できる。
Appleの研究チームは、実際のiOSアプリ上でUIナビゲーションエージェントを直接訓練するオンライン強化学習フレームワークを提案した。エージェントをプランニングエージェントとUIグラウンディングモデルに分離し、LLM-as-a-Judgeによる密なステップレベル報酬と終端報酬を組み合わせ、PPOとステップレベルアドバンテージ推定で最適化する。さらに、criticの安定性を向上させるGiGPPOを導入し、数百の同時仮想iOSデバイスを統括するインフラを構築した。8BのRLエージェントは、Android環境への分布外汎化でSFTベースラインに比べ約7倍の改善を示し、実iOSアプリでGemini-3.5-Flashを上回り、Gemini-3.1-Proと同等の性能を達成した。
GHARPは、少数の入力画像と駆動表情信号から3D人体頭部をリアルタイムでアニメーション化する手法です。問題をオフラインのアイデンティティ段階と軽量なランタイムアニメーション段階に分離し、身体アラインメントネットワークで身体姿勢や衣服位置の曖昧さを解消してぼやけやちらつきを低減します。Ava-256ベンチマークで最先端品質を達成しつつ、最大13倍高速で、ガウシアン数は8分の1です。
RISEDは、LLM判定器が生成するルーブリックを活用し、複数の対話環境にまたがるエージェント訓練におけるデータ選択と自己蒸留を導く手法である。複数のモデルバックボーンで平均合格率が最も高く、各環境でも1位または2位となった。