我们到了吗？探索多模态大语言模型在辅助AI应用中的能力
本研究评估了多模态大语言模型（MLLM）在辅助AI任务中的表现，包括货币识别、场景文本问答和多语言视觉内容阅读。研究者构建了NetraLink系统，使用头戴式GoPro采集真实世界第一人称数据，并创建了相应基准测试。结果揭示了当前MLLM在视觉感知和语言交互方面的优势与局限。
多模态大语言模型（MLLM）通过融合视觉编码器与大语言模型，重新定义了视觉理解能力。这种统一架构在图像描述、视觉问答和多模态对话等任务上表现出色，尤其在零样本和少样本场景中。其通用能力和灵活接口使其成为现实世界视觉-语言应用的有力基础。
辅助AI旨在帮助用户通过自然语言与周围环境互动。这类场景要求模型具备可靠的视觉识别、上下文推理和多语言理解能力——这些正是MLLM所宣称的优势。然而，它们在辅助环境中的实际效果尚未被充分理解。
为探究MLLM能否支持辅助AI，本研究评估了现有最先进模型在真实世界任务上的表现：识别日常物体如货币、基于场景文本回答问题，以及多语言视觉内容阅读。为此，研究者开发了NetraLink系统，使用头戴式GoPro采集真实世界的第一人称视角数据，并构建了覆盖这些辅助场景的基准数据集。实验结果表明，当前MLLM在标准物体识别上表现良好，但在处理模糊、部分遮挡或低质量文本时准确率显著下降。在多语言阅读任务中，模型对高资源语言（如英语）的识别准确率较高，但对低资源语言（如印地语）的支持不足。此外，模型在场景文本问答中能够提取部分关键信息，但在复杂推理和上下文关联方面仍有欠缺。研究者指出，这些局限性主要源于训练数据的偏差和视觉编码器的分辨率限制。该研究为未来辅助AI系统的设计提供了重要指导，包括需要针对低资源语言进行专门优化，以及提升模型对视觉噪声的鲁棒性。NetraLink基准数据集也已公开，供学术界进一步研究使用。