Neuronpedia：一個用於AI可解釋性的開源平臺

Neuronpedia是一個專注於人工智慧模型可解釋性的開源平臺，旨在幫助研究人員和開發者深入理解AI模型的內部工作機制。該平臺由前蘋果工程師Johnny Lin建立，並得到了Decode Research、Open Philanthropy、Long Term Future Fund、AISTOF、Anthropic、Manifund等多個組織的支援。自2023年首次釋出以來，Neuronpedia已經發展成為該領域的標杆工具，提供了包括HeadVis、自然語言自動編碼器、電路追蹤和特徵操控在內的一系列先進功能。

HeadVis是Neuronpedia的一項新功能，允許使用者瀏覽和調查注意力頭，這一工具基於Anthropic的研究。自然語言自動編碼器則能夠將模型的內部思考轉化為文本輸出，為理解模型決策過程提供了直觀的橋樑。電路追蹤功能可以追蹤模型內部的推理步驟，這是透過結合多家研究機構的成果實現的。此外，平臺還支援特徵操控，使用者可以透過調整啟用值來修改模型的行為。

Neuronpedia託管了超過50,000,000個潛在向量，涵蓋了從GPT-2到Gemma 4等多種模型。平臺提供了豐富的預訓練稀疏自編碼器（SAE）和模型集合，包括來自Google DeepMind、Anthropic、OpenAI、阿里、Meta等組織的貢獻。所有功能都透過API和Python/TypeScript庫暴露，支援搜尋、圖視覺化和深度檢查。使用者還可以透過語義相似性或推理搜尋來查詢相關特徵。

除了核心工具外，Neuronpedia還提供了社群協作功能，包括部落格、隱私政策、聯絡資訊等。平臺強調其作為可解釋性領域首個API的優勢，並提供了互動式文件和OpenAPI規範。透過Neuronpedia，研究者和開發者能夠以前所未有的方式探索AI模型的內部世界，推動可解釋性研究的發展。最新的更新包括HeadVis對注意力頭的支援，以及更多SAE的新增，使得平臺上的注意力頭總數超過36,000個，涵蓋37個模型。此外，Neuronpedia還支援雅可比透鏡、助理軸等功能，進一步擴充套件了模型內部視覺化和操控的能力。