クリック率（CTR）モデルのオフライン評価は依然としてランダム分割を既定としているが、配備されたモデルは将来のトラフィックをスコアリングし、下流システムはキャリブレーション済みの確率を消費する。本論文はこの慣行に疑問を投げかけ、Avazuデータセットの約4040万インプレッションを基に、事後再キャリブレーションにどれだけの「新鮮な」データを使うべきかを体系的に検討する。著者はロジスティック回帰（LR）、DeepFM、DCN-v2の3モデルを、2つのローリング時間原点と1つのランダム分割の下で学習し、各実験アームにつき3つの乱数シードを走らせ、各テスト日について直前数時間のデータでPlattスケーリングと等調回帰を適合させて再キャリブレーションを行う。
実験結果はまずランダム分割の評価バイアスを明らかにする。第1原点の最近接テスト日において、ランダム分割が報告するLRの期待キャリブレーション誤差（ECE）は、全シードで時間分割値の55〜62%に過ぎず、ランダム分割が時間経過に伴う実際の誤キャリブレーションを系統的に過小評価していることを示す。深層モデルではこの比率はシードによって不安定である。さらに注目すべきは、どのモデルのECEも時間距離に対して単調ではなく、「訓練データから遠いほどキャリブレーションが悪化する」という直感が常に成り立つわけではない点である。
再キャリブレーションは常に有効とは限らない。6時間の適合スライスを用いた場合、誤キャリブレーションが深刻なセルではECEを最大61%除去できる一方、約3分の1の適用では誤差を増やし、シード別では48件中14〜17件で逆効果となる。著者は続いて固定評価セット上で異なる窓長を比較し、12時間スライスが有害な適用を36件中13〜17件から3〜5件に削減するのに対し、24時間にすると再び悪化することを示した。窓は長ければよいわけでも、新しければよいわけでもない。
直感に反する発見として、データ量そのものが12時間窓の優位性の源ではないことが挙げられる。著者は12時間スライスを1時間スライスと同じ規模、すなわちインプレッションの5%に間引いても、適合が20〜25倍高速でありながら完全な12時間スライスの利得の約88%を回復できることを示した。したがって効果の向上は、より多くの曝露サンプルではなく、より広い時間幅をカバーすることに由来する。また、スライスECEに基づくゲートは原点外のシナリオで便益を示さず、模擬オークション環境では再キャリブレーションの利益への影響は約-0.21%から+0.26%にとどまり、キャリブレーションの改善が直ちに事業利益へ結びつくわけではないことを示唆する。
著者はこれに基づき、オフライン評価プロトコルは時間軸でキャリブレーションを測定し、複数の原点と複数の乱数シードで反復検証すべきだと提言する。このデータでは、より広い時間幅で適合した再キャリブレーションが最新数時間のみを使う場合を上回ったが、この結論は他のログデータでさらに確認される必要がある。論文は10ページ、図3点、表6点で構成され、コードとセル別結果は公開されており、arXivのcs.LGおよびcs.IRに分類されている。