點選率（CTR）模型的離線評估長期預設使用隨機劃分，但線上模型面對的是未來流量，且下游系統直接消費經過校準的機率。這篇論文質疑了這種慣性做法，並以Avazu資料集約4040萬次曝光為實驗基礎，系統考察後驗重校準應當使用多少“新鮮”資料。作者訓練了邏輯迴歸（LR）、DeepFM和DCN-v2三種模型，設定兩個滾動時間原點以及一個隨機劃分，每個實驗臂跑三個隨機種子，然後對每個測試日使用前若干小時的曝光資料，分別以Platt縮放和等滲迴歸擬合重校準器。
實驗結果首先揭示了隨機劃分的評估偏差。在第一個原點最近的測試日上，隨機劃分報告的LR期望校準誤差（ECE）在每個種子中都只有時間劃分值的55%至62%，也就是說隨機劃分系統性地低估了模型在實際時間推移下的失準程度。深度模型的這一比值則隨種子波動，不夠穩定。更值得注意的是，沒有任何模型的ECE隨時間距離呈現單調變化，這意味著“離訓練集越遠校準越差”的直覺並不總成立。
重校準並非總是有效。使用6小時擬合切片時，在失準嚴重的單元格中重校準最多能消除61%的ECE，但在約三分之一的校準應用裡反而使誤差上升，按種子統計在48個應用中有14至17個出現這種反效果。作者隨後在固定評估集上比較不同視窗長度：12小時切片把有害應用從36箇中的13至17個降到3至5個，而24小時視窗又會讓傷害回升。這說明視窗並非越長越好，也並非越新越好。
一個反直覺的發現是，資料量本身不是12小時視窗優勢的來源。作者把12小時切片下采樣到與1小時切片相同的規模，即僅保留5%的曝光，擬合速度快20至25倍，但仍能恢復完整12小時切片約88%的收益。因此，效果提升來自覆蓋更寬的時間跨度，而非更多曝光樣本。此外，基於切片ECE的門控在跨原點場景中沒有表現出收益，而在模擬競價環境中，重校準對利潤的影響僅在約-0.21%至+0.26%之間，說明校準改善未必直接轉化為業務收益。
作者據此建議，離線評估協議應當以時間維度衡量校準，並在多個原點和多個隨機種子上重複驗證。在這份資料上，使用較寬時間跨度擬合的重校準優於僅使用最新幾小時的資料，但這一結論仍需其他日誌資料進一步確認。論文共10頁、3幅圖、6張表，程式碼與逐單元格結果已公開，發表於arXiv的cs.LG與cs.IR分類。