GrafoPropagation:幾何学的注意機構を用いたコンパクトなテキスト分類アーキテクチャ
GrafoPropagation は約99万パラメータのテキスト分類アーキテクチャで、フォン・ミーゼス・フィッシャー(vMF)二重スケール注意機構、リーマン時間埋め込み、動的グラフ接続、グローバルワークスペースメモリ、システム2潜在探索、量子学習率変調を特徴としています。AG Newsで微調整後、検証精度93.1%を達成。
GrafoPropagation:幾何学的注意機構を用いたコンパクトなテキスト分類アーキテクチャ
要約のみ
配信元のコンテンツ権限に基づき、編集要約、要点、原文へのリンクのみを提供します。