在算法市場中，預測模型本身成為其所預測的數據生成過程的一部分。當模型的輸出被轉換為交易、分配、執行計劃或風險控制時，它們會改變未來用於評估模型的數據。這種反饋循環對傳統的時間序列預測方法提出了根本性挑戰。
近日，一篇題為《算法度量：算法反饋下的預測》的論文（arXiv:2605.23978）由Marc Schmitt提交，提出了一種稱為“算法度量”（algometrics）的新框架，專為演化依賴於預測算法的時序數據設計。該框架的核心創新在於區分兩種風險：歷史風險（passive forecasting下的風險）和部署風險（當預測驅動行動時的風險）。
論文證明了三個主要結果。首先，部署風險無法僅從被動歷史數據中識別。即使在一個一步線性反饋模型中，也存在無限多種算法介導的環境，它們產生相同的歷史分佈，但對同一預測器意味着不同的部署風險。其次，歷史模型排名在算法擁擠條件下可能發生反轉：一個在被動環境下誤差較低的預測器，在類似算法被廣泛採用後，其部署誤差可能反而更高。第三，通過隨機化或工具化行動可以識別短時域線性反饋，作者推導了部署風險估計的有限樣本界。
這些結果對算法市場的實踐具有重要意義。目前，時間序列基準主要關注預測精度，但忽視了模型反饋對數據的影響。Schmitt建議，未來的基準應同時報告反饋敏感性和預測精度，以更真實地反映模型在部署環境中的表現。該工作為理解算法市場的動態風險提供了理論基礎，並對量化金融、機器學習以及任何涉及反饋循環的預測系統具有啓示。
具體來説，算法度量的概念可以應用於多種場景。例如，在量化金融中，交易算法基於價格預測進行買賣，而這些交易行為本身會影響市場價格，從而改變未來預測所依據的數據。類似地，在推薦系統中，用户行為受推薦算法影響，形成反饋迴路。論文提出的框架通過區分被動預測和主動部署下的風險，揭示了傳統評估指標的侷限性。作者還指出，通過隨機化或工具化行動，可以在有限樣本下估計短期線性反饋，這為實際部署提供了可行的識別策略。
總之，這篇論文對算法市場的基準設計提出了重要建議，強調了反饋敏感性應與預測精度同樣受到重視。