视觉语言智能体在将截图、文档和用户界面中的信息写入记忆、发送消息或调用外部工具之前，越来越多地依赖对这些视觉内容的理解。然而，一项名为VisualLeakBench的新基准测试研究揭示了一种具体且危险的失败模式：动作边界传播。在这种场景下，图像中可见的敏感或不安全文本会被复制到下游工具参数中，从而可能引发数据泄露或执行恶意操作。
该研究由Youting Wang等作者完成，并提交于arXiv（编号2606.07595）。研究团队构建了VisualLeakBench，这是一个包含500张多样化图像的基准数据集，场景覆盖UI界面、聊天记录、文档、表单和仪表板。他们从中分层抽样了100张图像组成智能体评估子集，并针对四种生产级视觉语言模型（VLM）系统，在两种工作流程下进行了测试：笔记捕获和外部交接。
实验结果显示，在基线条件下，目标字符串被传播到工具参数中的比例非常高：涉及个人身份信息（PII）的案例达到78.8%，而渲染的不安全文本案例则高达85.5%。这意味着智能体在大多数情况下会将图像中的敏感内容直接复制到工具调用中，构成显著的安全隐患。
当研究者采用防御性系统提示时，情况有所改善但并未完全解决。对于渲染的不安全文本，传播率仍高达52.6%，表明防御提示对此类内容效果有限。而对于PII，传播率大幅下降至2.0%，但研究者指出，这主要是因为模型抑制了工具使用，而非在保持实用性的前提下实现了安全过滤。换言之，智能体可能变得过于保守，拒绝执行本应完成的任务。
进一步分析表明，传播率高度依赖于工具表面的类型。类似于搜索的工具能够有效抑制PII的传播，但不安全文本仍然可以跨越工具边界。研究强调，他们测量的是从视觉输入到工具调用的传播，而非下游指令的执行情况。此外，研究者还提供了一个带有标签目标的预言机上界诊断工具，该工具将大多数失败定位在工具边界，同时指出响应侧的泄露仍是残余风险。
这项研究凸显了视觉语言智能体在动作边界处面临的安全挑战，并呼吁在部署此类系统时需更加关注工具调用的参数过滤和上下文感知防护。