代理视觉：使用Amazon Bedrock和MCP服务器构建视觉智能

在现实应用中，AI的集成长期面临一个根本性挑战：能够“看”的系统、能够“思考”的系统以及能够“行动”的系统之间的脱节。开发者需要处理复杂的集成、管理多个API并创建自定义解决方案来弥补这些差距，导致实现效率低下、成本高昂且脆弱。

本文介绍的计算机视觉MCP服务器将计算机视觉、Strands代理和模型上下文协议（MCP）三大技术融合，形成一个统一的流水线，使视觉信息能够被捕获、理解并采取行动。该集成降低了感知、决策和行动之间的传统障碍，使AI系统能够像人类智能一样协同运作。

解决方案概述

在架构中，客户端通过集中式AWS IAM角色与多个AWS服务交互。Amazon S3负责对象存储，Amazon OpenSearch提供搜索功能，Amazon Bedrock提供生成式AI模型（如Claude 4 Sonnet），Amazon Rekognition专门进行图像分析。IAM角色集中管理权限，无需在客户端嵌入凭据，简化了跨多个AWS服务的受控访问。

三大核心技术

• 计算机视觉：处理图像和视频等视觉信息。
• Strands Agents：用于构建AI代理的框架，支持多种模型提供商和部署目标，具备可观测性、追踪和可扩展部署。
• MCP：标准化协议，简化AI系统与工具和数据源的集成。

用户界面

界面基于Streamlit构建，左侧菜单面板允许用户选择基础模型（默认为Claude 4 Sonnet），并支持重置对话历史。用户可通过中央的媒体上传区域拖放或选择文件上传图像（PNG、JPG等）和视频（MP4、AVI等），最大200MB。上传后，AI系统可执行对象裁剪、标签检测和详细内容分析等任务。

MCP服务器工具

MCP服务器提供了多个工具：

• describe_image：使用Amazon Bedrock的Claude模型根据指令分析图像，从S3获取图像并返回描述。
• analyze_video：利用Amazon Nova视频分析能力处理视频内容。
• detect_labels：集成Amazon Rekognition进行标签检测，提供置信度、边界框等信息。
• crop_bounding_box：基于Rekognition的对象检测进行智能裁剪。
• remove_background：使用rembg库移除图像背景。

这些工具通过标准化的MCP接口暴露，使AI代理能够以统一方式访问视觉处理能力。系统还包含详细的系统提示，指导代理按工作流执行任务。

总之，该解决方案将复杂的视觉智能集成简化为一个标准化接口，使开发者能够轻松构建具有视觉能力的AI应用。