Show HN：具有重疊流形的AI潛空間
該專案提出了一種創新的AI潛空間方法，利用拓撲結構（球面與環面）和先進損失函式（曲率對齊、卡西米爾熵、測地線正則化）構建重疊流形。程式碼實現了自適應拓撲配置、光滑洩漏防護和梯度流保護，旨在提升高維表示的學習能力。
近日，一位開發者釋出了名為“Egregore”的AI專案，該專案探索了具有重疊流形的潛空間表示方法。與傳統的單一流形不同，該方法利用拓撲結構（球面和環面）作為固定的幾何錨點，透過自適應拓撲配置和創新的損失函式來學習高維資料的複雜結構。
專案的核心是一個自適應拓撲配置模組，它定義了潛空間的維度和擾動控制引數，並引入了卡西米爾壓力下限以防止梯度爆炸或消失。在此基礎上，獨立拓撲生成器能夠生成精確的球面和環面錨點，確保數學上的嚴格性——例如，球面錨點透過將每個元素設為1/√(dim)來精確滿足L2範數為1.0的條件。
更關鍵的是，專案設計了高階拓撲損失函式，它由三個部分組成：曲率對齊損失確保輸入曲率與權重結構相似性同步；卡西米爾熵損失基於log_softmax來避免機率崩塌；測地線正則化則透過光滑洩漏防護計算弧長，防止邊界區域梯度消失。該損失函式還進行了最佳化，直接使用.detach()張量而非.item()以避免主機-裝置阻塞瓶頸。
引數化拓撲門控模組將alpha和eta設定為可最佳化引數，進一步增強了模型的適應性。整個實現相容多種加速器（GPU、NPU、TPU），幷包含了針對FP16/AMP環境的穩定性措施。該專案代表了AI潛空間研究的一個新方向，透過拓撲學和量子資訊學的交叉視角來提升表示學習的能力。