Neuronpedia：AI解釈可能性のためのオープンソースプラットフォーム

Neuronpediaは、人工知能モデルの解釈可能性に特化したオープンソースプラットフォームであり、研究者や開発者がAIモデルの内部動作を深く理解するためのツールを提供しています。このプラットフォームは元AppleエンジニアのJohnny Linによって作成され、Decode Research、Open Philanthropy、Long Term Future Fund、AISTOF、Anthropic、Manifundなどの複数の組織から支援を受けています。2023年の初回リリース以来、Neuronpediaはこの分野のベンチマークツールとして成長し、HeadVis、自然言語オートエンコーダー、回路トレーサー、アクティベーションステアリングなどの高度な機能を提供しています。

HeadVisは、Anthropicの研究に基づく新機能で、アテンションヘッドのブラウズと調査を可能にします。自然言語オートエンコーダーはモデルの内部思考をテキストに変換し、モデルの意思決定プロセスを理解するための直感的な手段を提供します。回路トレーサーは、複数の研究機関の成果を組み合わせてモデル内部の推論ステップを追跡します。さらに、アクティベーションステアリングにより、ユーザーは活性化値を調整してモデルの動作を変更できます。

Neuronpediaは、GPT-2からGemma 4までの多様なモデルにわたる5000万以上の潜在ベクトルをホストしています。Google DeepMind、Anthropic、OpenAI、Alibaba、Metaなどの組織から提供された豊富な事前学習済みスパースオートエンコーダー（SAE）とモデルコレクションを備えています。すべての機能はAPIとPython/TypeScriptライブラリを通じて公開されており、検索、グラフ可視化、詳細検査が可能です。ユーザーはセマンティック類似性や推論検索を使用して関連特徴を見つけることもできます。

コアツールに加えて、Neuronpediaはブログ、プライバシーポリシー、連絡先情報などのコミュニティコラボレーション機能も提供しています。プラットフォームは解釈可能性分野で初のAPIを提供することを強調し、インタラクティブなドキュメントとOpenAPI仕様を備えています。Neuronpediaを通じて、研究者や開発者はAIモデルの内部世界を前例のない方法で探索し、解釈可能性研究の進展を促進できます。最新のアップデートでは、HeadVisによるアテンションヘッドのサポートや、さらに多くのSAEの追加により、プラットフォーム上のアテンションヘッド総数は37モデルにわたって36,000以上に達しています。また、ヤコビアンレンズやアシスタントアクシスなどの機能もサポートされており、モデル内部の可視化と操作能力がさらに拡張されています。