本文にスキップ
AI News HubLIVE
その他
要約のみ

GrafoPropagation:幾何学的注意機構を用いたコンパクトなテキスト分類アーキテクチャ

GrafoPropagation は約99万パラメータのテキスト分類アーキテクチャで、フォン・ミーゼス・フィッシャー(vMF)二重スケール注意機構、リーマン時間埋め込み、動的グラフ接続、グローバルワークスペースメモリ、システム2潜在探索、量子学習率変調を特徴としています。AG Newsで微調整後、検証精度93.1%を達成。

ソースHacker News AI著者: sunbagger
GrafoPropagation:幾何学的注意機構を用いたコンパクトなテキスト分類アーキテクチャ
誤りを報告

訂正窓口はまだ利用できません。記事情報をコピーして保存できます。

訂正案内

要約のみ

配信元のコンテンツ権限に基づき、編集要約、要点、原文へのリンクのみを提供します。

要点と分析を開く

記事インテリジェンス

エンジニア上級

要点

  • 約99万パラメータのコンパクトモデル、WordNetで事前学習後AG Newsで微調整。
  • 革新:vMF二重スケール注意、システム2潜在探索(Gumbel MCTS)、量子LR変調。
  • 柔軟な設定で99万から3000万パラメータまでスケール可能。

要点と分析は自動生成され、誤りを含む場合があります。原典をご確認ください。