Neuronpedia：一个用于AI可解释性的开源平台

Neuronpedia是一个专注于人工智能模型可解释性的开源平台，旨在帮助研究人员和开发者深入理解AI模型的内部工作机制。该平台由前苹果工程师Johnny Lin创建，并得到了Decode Research、Open Philanthropy、Long Term Future Fund、AISTOF、Anthropic、Manifund等多个组织的支持。自2023年首次发布以来，Neuronpedia已经发展成为该领域的标杆工具，提供了包括HeadVis、自然语言自动编码器、电路追踪和特征操控在内的一系列先进功能。

HeadVis是Neuronpedia的一项新功能，允许用户浏览和调查注意力头，这一工具基于Anthropic的研究。自然语言自动编码器则能够将模型的内部思考转化为文本输出，为理解模型决策过程提供了直观的桥梁。电路追踪功能可以追踪模型内部的推理步骤，这是通过结合多家研究机构的成果实现的。此外，平台还支持特征操控，用户可以通过调整激活值来修改模型的行为。

Neuronpedia托管了超过50,000,000个潜在向量，涵盖了从GPT-2到Gemma 4等多种模型。平台提供了丰富的预训练稀疏自编码器（SAE）和模型集合，包括来自Google DeepMind、Anthropic、OpenAI、阿里、Meta等组织的贡献。所有功能都通过API和Python/TypeScript库暴露，支持搜索、图可视化和深度检查。用户还可以通过语义相似性或推理搜索来查找相关特征。

除了核心工具外，Neuronpedia还提供了社区协作功能，包括博客、隐私政策、联系信息等。平台强调其作为可解释性领域首个API的优势，并提供了交互式文档和OpenAPI规范。通过Neuronpedia，研究者和开发者能够以前所未有的方式探索AI模型的内部世界，推动可解释性研究的发展。最新的更新包括HeadVis对注意力头的支持，以及更多SAE的添加，使得平台上的注意力头总数超过36,000个，涵盖37个模型。此外，Neuronpedia还支持雅可比透镜、助理轴等功能，进一步扩展了模型内部可视化和操控的能力。