認知カテゴリカルトランスフォーマー：言語モデリングのための圏論的帰納バイアス

新たな研究により、認知カテゴリカルトランスフォーマー（Cognitive Categorical Transformer, CCT）が提案されました。これは306Mパラメータのアーキテクチャで、圏論と認知科学の原理を融合して言語モデリングを強化することを目的としています。モデルは事前学習済みのGPT-2 Smallをバックボーンとし、複数の認知に触発されたコンポーネントを統合しています。WikiText-103データセットにおいて、厳密に一致させたステップ数（215,000ステップ）、データ、最適化戦略を用いて実験を行った結果、CCTは21.27の検証パープレキシティを達成しました。一方、同じ条件で微調整したGPT-2 Smallベースラインは24.19でした。これは、CCTがドメイン内微調整だけでは得られない2.92（12%相対）のパープレキシティ低減をもたらしたことを意味します。

性能向上の源泉を特定するため、研究者らはゼロからの再学習によるアブレーション実験を実施し、7フェーズの活性化スケジュール全体でGT-Full単体的メッセージパッシングをバイパスしました。その結果、アブレーションモデルのパープレキシティは23.72に上昇し、アーキテクチャによる改善の84%（2.92のうち2.45）がGT-Fullコンポーネントに起因することが明らかになりました。これは、306Mパラメータ規模で単体的メッセージパッシングが言語モデルのパープレキシティを改善するという、アブレーションで検証された初めての証拠です。参考までに、公開されているGPT-2 LargeはWikiText-103で22.05のゼロショットパープレキシティを達成していますが、パラメータ数はGPT-2 Smallの6.2倍であり、本論文ではこれを外部の公開参照として扱い、アーキテクチャのベンチマークとはしていません。

興味深いことに、研究では一貫性スタイルの圏論的先験（層平滑化、随伴往復、曲率正則化など）については性能向上が見られないという否定的結果も報告されています。GT-FullとPrecisionWeightedPPの構造的先験に関する結果と合わせて、研究者らは「構造/一貫性の区別」（structure/consistency distinction）と名付けた経験的パターンを導き出しました。これは、新しいトポロジーを追加する圏論的先験は言語モデリングに有効である一方、一貫性恒等式を強制する先験は有効でないというものです。

この研究は、圏論と認知科学のアイデアを大規模言語モデルに組み込む新たな視点を提供し、単体的メッセージパッシングがモデル性能向上に重要な役割を果たすことを強調しています。今後の研究では、これらの構造的先験が他のタスクやモデル規模でも有効かどうかをさらに探求することが期待されます。