跳到主要内容
AI News HubLIVE
更多
仅摘要

GrafoPropagation:基于几何注意力的小型文本分类架构

GrafoPropagation 是一个仅约 99 万参数的文本分类架构,采用 von Mises-Fisher (vMF) 双尺度注意力、黎曼时间嵌入、动态图连接、全局工作空间记忆、系统2潜在搜索以及量子学习率调制等创新技术,在 AG News 数据集上微调后验证准确率达 93.1%。

来源Hacker News AI作者: sunbagger
GrafoPropagation:基于几何注意力的小型文本分类架构
报告错误

纠错通道尚未开通,可先复制下方文章信息留存。

查看更正说明

本文仅提供摘要

根据来源内容权限,本站仅提供编辑摘要、要点和原文链接。

展开要点与分析

文章情报

工程师进阶

要点

  • 约 99 万参数的紧凑模型,通过 WordNet 词典预训练和 AG News 微调实现高效分类。
  • 创新包括 vMF 双尺度注意力、系统2潜在搜索(Gumbel MCTS)和量子学习率调制。
  • 详细配置支持从 99 万到 3000 万参数的灵活扩展。

要点与分析由自动化流程生成,可能有误,请结合原始来源核实。