跳到主要內容
AI News HubLIVE
更多
僅摘要

GrafoPropagation:基於幾何注意力的小型文本分類架構

GrafoPropagation 是一個僅約 99 萬參數的文本分類架構,採用 von Mises-Fisher (vMF) 雙尺度注意力、黎曼時間嵌入、動態圖連接、全局工作空間記憶、系統2潛在搜索以及量子學習率調製等創新技術,在 AG News 數據集上微調後驗證準確率達 93.1%。

來源Hacker News AI作者: sunbagger
GrafoPropagation:基於幾何注意力的小型文本分類架構
報告錯誤

更正渠道尚未開通,可先複製下方文章資訊留存。

查看更正說明

本文僅提供摘要

根據來源內容權限,本站僅提供編輯摘要、要點和原文連結。

展開要點與分析

文章情報

工程師進階

要點

  • 約 99 萬參數的緊湊模型,通過 WordNet 詞典預訓練和 AG News 微調實現高效分類。
  • 創新包括 vMF 雙尺度注意力、系統2潛在搜索(Gumbel MCTS)和量子學習率調製。
  • 詳細配置支持從 99 萬到 3000 萬參數的靈活擴展。

要點與分析由自動化流程生成,可能有誤,請結合原始來源核實。