理解大语言模型在生成代码时如何做出 token 级决策，一直是研究者和开发者面临的难题。现有工具虽然能揭示模型内部状态或生成结果，但往往缺少解码阶段的实时信号、细粒度不确定性度量，以及让用户交互式探索其他生成路径的机制。针对这一空白，Amirreza Esmaeili 和 Fatemeh Fard 提出了 TokenScope，一个面向解码器架构大语言模型的交互式可解释性与分析工具。
TokenScope 的核心目标是在代码生成过程中打开模型决策的“黑箱”。它能够展示 token 级指标、注意力模式以及结构信息，让研究者观察模型在每一步生成时关注了什么、对候选 token 的置信度如何分布，以及这些信号如何与代码的语法结构相关联。与仅关注最终输出或静态模型内部表示的工具不同，TokenScope 强调解码时的动态信号，这对于理解代码生成中的不确定性尤为关键。
在交互能力方面，TokenScope 提供了几项有特色的功能。首先是交互式 token 替换，用户可以在生成过程中修改特定 token，观察模型后续行为的变化。其次是反事实分支，允许用户探索“如果当时选择了另一个 token，生成路径会怎样发展”，从而对模型的决策边界进行对照分析。此外，TokenScope 还支持基于抽象语法树（AST）的代码感知聚合，将 token 级信息映射到程序结构层面，帮助用户从语法单元的角度理解模型行为。
这项工作的意义在于将解码时信号与结构化程序分析统一起来。代码生成不同于自然语言生成，其输出需要满足语法和语义约束，因此仅看 token 概率并不足以解释模型行为。TokenScope 通过 AST 聚合，把细粒度的 token 决策与代码结构联系起来，为系统研究 LLM 在代码生成中的行为提供了可操作的分析框架。
该论文提交于 2026 年 4 月 30 日，编号为 arXiv:2607.01235v1，属于 Computation and Language（cs.CL）方向，同时涉及 Artificial Intelligence（cs.AI）和 Software Engineering（cs.SE）。论文提供了 PDF 和实验性 HTML 版本，全文约 3.4 MB。TokenScope 的定位是分析工具而非新的代码生成模型，因此其价值主要体现在帮助研究者和开发者诊断、审计和理解现有 LLM 在代码任务中的表现。对于需要评估模型可靠性、调试生成错误或研究模型内部机制的团队来说，这类工具可以降低分析门槛，并为后续的模型改进提供依据。