TokenScope：面向大型語言模型代碼任務的詞元級可解釋性與可分析性工具
TokenScope 是一款面向解碼器型 LLM 的交互式可解釋性工具，能在代碼生成過程中提供詞元級度量、注意力模式和結構信息，支持詞元替換、反事實分支和基於抽象語法樹的代碼感知聚合。
大型語言模型（LLM）在代碼生成任務中表現出色，但其在詞元級別的決策機制仍是一個難以捉摸的黑盒。現有工具雖然能提供模型內部狀態或生成結果的某些視角，但往往缺少解碼過程中的實時信號、細粒度的不確定性度量，以及探索替代生成路徑的交互機制。這給研究人員和從業者理解模型行為帶來了巨大挑戰。
針對這一困境，來自加拿大的研究者 Amirreza Esmaeili 和 Fatemeh Fard 提出了 TokenScope。這是一款面向解碼器型 LLM 的交互式可解釋性分析工具，能夠在代碼生成過程中實時暴露詞元級別的概率、不確定性等度量指標，同時展示注意力模式以及基於抽象語法樹（AST）的結構信息。工具的核心功能包括：交互式詞元替換——允許用户手動修改某個詞元並觀察模型反應的連鎖變化；反事實分支——生成假設性的替代路徑以對比不同選擇的影響；以及代碼感知聚合——將詞元按照語法結構進行分組，使得分析更貼合代碼的語義層次。
通過將解碼過程中的信號與結構化程序分析相統一，TokenScope 為系統性地探究 LLM 在代碼生成中的行為提供了全新手段。該工具不僅有助於調試模型輸出、提升生成代碼的可靠性，還有望為未來更透明、更可信的代碼智能系統奠定基礎。相關論文已於 2026 年 4 月 30 日提交至 arXiv，涵蓋計算語言學（cs.CL）、人工智能（cs.AI）和軟件工程（cs.SE）等多個領域。研究人員和開發者可以藉此更深入地理解模型在代碼生成時的內部運作，從而推動可解釋人工智能在軟件工程中的應用。