点击率（CTR）模型的离线评估长期默认使用随机划分，但线上模型面对的是未来流量，且下游系统直接消费经过校准的概率。这篇论文质疑了这种惯性做法，并以Avazu数据集约4040万次曝光为实验基础，系统考察后验重校准应当使用多少“新鲜”数据。作者训练了逻辑回归（LR）、DeepFM和DCN-v2三种模型，设置两个滚动时间原点以及一个随机划分，每个实验臂跑三个随机种子，然后对每个测试日使用前若干小时的曝光数据，分别以Platt缩放和等渗回归拟合重校准器。
实验结果首先揭示了随机划分的评估偏差。在第一个原点最近的测试日上，随机划分报告的LR期望校准误差（ECE）在每个种子中都只有时间划分值的55%至62%，也就是说随机划分系统性地低估了模型在实际时间推移下的失准程度。深度模型的这一比值则随种子波动，不够稳定。更值得注意的是，没有任何模型的ECE随时间距离呈现单调变化，这意味着“离训练集越远校准越差”的直觉并不总成立。
重校准并非总是有效。使用6小时拟合切片时，在失准严重的单元格中重校准最多能消除61%的ECE，但在约三分之一的校准应用里反而使误差上升，按种子统计在48个应用中有14至17个出现这种反效果。作者随后在固定评估集上比较不同窗口长度：12小时切片把有害应用从36个中的13至17个降到3至5个，而24小时窗口又会让伤害回升。这说明窗口并非越长越好，也并非越新越好。
一个反直觉的发现是，数据量本身不是12小时窗口优势的来源。作者把12小时切片下采样到与1小时切片相同的规模，即仅保留5%的曝光，拟合速度快20至25倍，但仍能恢复完整12小时切片约88%的收益。因此，效果提升来自覆盖更宽的时间跨度，而非更多曝光样本。此外，基于切片ECE的门控在跨原点场景中没有表现出收益，而在模拟竞价环境中，重校准对利润的影响仅在约-0.21%至+0.26%之间，说明校准改善未必直接转化为业务收益。
作者据此建议，离线评估协议应当以时间维度衡量校准，并在多个原点和多个随机种子上重复验证。在这份数据上，使用较宽时间跨度拟合的重校准优于仅使用最新几小时的数据，但这一结论仍需其他日志数据进一步确认。论文共10页、3幅图、6张表，代码与逐单元格结果已公开，发表于arXiv的cs.LG与cs.IR分类。