AI News HubLIVE
站內改寫2 分鐘閱讀

解析度地平線——在有限觀測下尋找AI過擬合噪聲的數學極限

解析度地平線是一個實驗性研究框架,用於衡量在有限、帶噪聲的觀測資料中能恢復多少數學結構。它提出每個觀測過程都有一個可測量的解析度地平線,即結構複雜性的臨界點,超過該點分析將開始擬合噪聲而非真實不變數。該框架結合微分幾何、動力系統、統計估計和資訊理論,並定義了資訊效率交換率η(k)作為主要經驗量。

來源Hacker News AI作者: bjoern_janson

解析度地平線(Resolution Horizon)是一個開源的實驗研究框架,由Björn Janson開發,託管在GitHub上,基於MIT許可證釋出。該框架旨在系統地衡量在有限、帶噪聲的觀測下,智慧體能夠從動力系統中恢復多少數學結構。其核心假設是每一個觀測過程都存在一個可測量的解析度地平線(k*):一個結構複雜性的臨界水平,超過這個水平,進一步的分析不再揭示真正的不變數,而是開始對觀測不確定性建模。這意味著結構恢復並非系統內在的屬性,而是由系統動力學、觀測者和可用計算資源共同決定的。

該框架整合了微分幾何、動力系統理論、統計估計和資訊理論,形成了一個統一的實證框架。其主要經驗量是資訊效率交換率η(k),該比率平衡結構壓縮帶來的資訊增益與估計結構模糊度所需的代價。具體定義為η(k) = ΔL(k)/C_G(k),其中ΔL(k)表示基線模型與基於Lie代數結構的模型之間的似然差,C_G(k)表示結構複雜度代價。η(k)在k = k*時達到最大值,標誌著最優的結構發現邊界。

解析度地平線還定義了一個資源響應曲面,其中k*是觀測數量N、觀測噪聲σ、協變數覆蓋度E_cov以及系統特徵值λ_min的函式。框架給出了方向性預測:增加觀測數量N將提高k*,而增加噪聲σ將降低k*,協變數覆蓋度E_cov與k*正相關。這些預測構成了專案的可證偽主張。

專案識別出三個相位區域:區域I(發現階段),結構壓縮上升而座標模糊度下降;區域II(地平線),η(k)達到全域性最大值;區域III(誤解析),分析開始擬合噪聲,壓縮下降而模糊度上升。這種相位結構為理解過擬合提供了嚴格的幾何視角。

該框架包含多個工具模組:instrument.py用於核心觀測指標計算,experiment.py實現正則化繞過協議與因果乾預,test_suite.py提供自動拓撲驗證。整體而言,解析度地平線將科學發現本身視為一個可測量的計算過程,提出了一個根本性的問題轉變:從“存在什麼數學結構?”變為“有限觀測者能恢復什麼數學結構?”