代理視覺：使用Amazon Bedrock和MCP服務器構建視覺智能

在現實應用中，AI的集成長期面臨一個根本性挑戰：能夠“看”的系統、能夠“思考”的系統以及能夠“行動”的系統之間的脱節。開發者需要處理複雜的集成、管理多個API並創建自定義解決方案來彌補這些差距，導致實現效率低下、成本高昂且脆弱。

本文介紹的計算機視覺MCP服務器將計算機視覺、Strands代理和模型上下文協議（MCP）三大技術融合，形成一個統一的流水線，使視覺信息能夠被捕獲、理解並採取行動。該集成降低了感知、決策和行動之間的傳統障礙，使AI系統能夠像人類智能一樣協同運作。

解決方案概述

在架構中，客户端通過集中式AWS IAM角色與多個AWS服務交互。Amazon S3負責對象存儲，Amazon OpenSearch提供搜索功能，Amazon Bedrock提供生成式AI模型（如Claude 4 Sonnet），Amazon Rekognition專門進行圖像分析。IAM角色集中管理權限，無需在客户端嵌入憑據，簡化了跨多個AWS服務的受控訪問。

三大核心技術

• 計算機視覺：處理圖像和視頻等視覺信息。
• Strands Agents：用於構建AI代理的框架，支持多種模型提供商和部署目標，具備可觀測性、追蹤和可擴展部署。
• MCP：標準化協議，簡化AI系統與工具和數據源的集成。

用户界面

界面基於Streamlit構建，左側菜單面板允許用户選擇基礎模型（默認為Claude 4 Sonnet），並支持重置對話歷史。用户可通過中央的媒體上傳區域拖放或選擇文件上傳圖像（PNG、JPG等）和視頻（MP4、AVI等），最大200MB。上傳後，AI系統可執行對象裁剪、標籤檢測和詳細內容分析等任務。

MCP服務器工具

MCP服務器提供了多個工具：

• describe_image：使用Amazon Bedrock的Claude模型根據指令分析圖像，從S3獲取圖像並返回描述。
• analyze_video：利用Amazon Nova視頻分析能力處理視頻內容。
• detect_labels：集成Amazon Rekognition進行標籤檢測，提供置信度、邊界框等信息。
• crop_bounding_box：基於Rekognition的對象檢測進行智能裁剪。
• remove_background：使用rembg庫移除圖像背景。

這些工具通過標準化的MCP接口暴露，使AI代理能夠以統一方式訪問視覺處理能力。系統還包含詳細的系統提示，指導代理按工作流執行任務。

總之，該解決方案將複雜的視覺智能集成簡化為一個標準化接口，使開發者能夠輕鬆構建具有視覺能力的AI應用。