认知范畴变换器：用于语言建模的范畴论归纳偏置
认知范畴变换器（CCT）是一种306M参数的架构，通过在预训练的GPT-2 Small骨干网络上添加源自范畴论和认知科学的组件，在WikiText-103上实现了21.27的验证困惑度，相比微调基线降低2.92（12%）。消融实验证实，84%的改进来自GT-Full单纯消息传递。研究还发现了结构/一致性区分模式。
文章情报
要点
- CCT在WikiText-103上达到21.27困惑度，比GPT-2 Small基线低2.92。
- 消融实验表明84%的改进归因于GT-Full单纯消息传递。
- 一致性风格范畴先验（如层平滑）未带来提升，支持结构/一致性区分。
为什么重要
这条新闻值得关注，因为CCT在WikiText-103上达到21.27困惑度，比GPT-2 Small基线低2.92。
技术影响
可能影响模型选型、推理成本、产品能力和评测基准。
一项新的研究提出了认知范畴变换器（Cognitive Categorical Transformer, CCT），这是一种参数量为306M的架构，旨在通过融合范畴论和认知科学的原理来增强语言建模。该模型以预训练的GPT-2 Small为骨干，并集成了多个认知启发的组件。在WikiText-103数据集上，采用严格匹配的步骤数（215,000步）、数据和优化策略进行实验，CCT达到了21.27的验证困惑度，而同等条件下微调的GPT-2 Small基线为24.19。这意味着CCT相较于仅进行领域内微调，额外带来了2.92（12%相对）的困惑度降低。
为了确定性能提升的来源，研究者进行了从零开始的重新训练消融实验，在完整的七阶段激活调度中绕过了GT-Full单纯消息传递。结果显示，该消融模型的困惑度升至23.72，表明84%的架构改进（即2.92中的2.45）可归因于GT-Full组件。这是首次通过消融验证的证据，表明在306M参数规模下，单纯消息传递能够改进语言模型的困惑度。作为参考，已发表的GPT-2 Large在WikiText-103上零样本困惑度为22.05，但其参数数量是GPT-2 Small的6.2倍，论文将其视为外部参考而非架构基准。
有趣的是，研究还报告了若干负面结果：一致性风格的范畴先验（如层平滑、伴随往返、曲率正则化）并未带来性能提升。联合考虑GT-Full和PrecisionWeightedPP的结构先验结果，研究者总结出一个经验模式，称为“结构/一致性区分”（structure/consistency distinction），即增加新拓扑结构的范畴先验有助于语言建模，而强制执行一致性恒等式的先验则无益。
该工作为将范畴论和认知科学思想融入大规模语言模型提供了新的视角，并强调了单纯消息传递在提升模型性能中的关键作用。未来研究可进一步探索这些结构先验在其他任务和模型规模上的适用性。