代理視覺：使用Amazon Bedrock和MCP伺服器構建視覺智慧

在現實應用中，AI的整合長期面臨一個根本性挑戰：能夠“看”的系統、能夠“思考”的系統以及能夠“行動”的系統之間的脫節。開發者需要處理複雜的整合、管理多個API並建立自定義解決方案來彌補這些差距，導致實現效率低下、成本高昂且脆弱。

本文介紹的計算機視覺MCP伺服器將計算機視覺、Strands代理和模型上下文協議（MCP）三大技術融合，形成一個統一的流水線，使視覺資訊能夠被捕獲、理解並採取行動。該整合降低了感知、決策和行動之間的傳統障礙，使AI系統能夠像人類智慧一樣協同運作。

解決方案概述

在架構中，客戶端透過集中式AWS IAM角色與多個AWS服務互動。Amazon S3負責物件儲存，Amazon OpenSearch提供搜尋功能，Amazon Bedrock提供生成式AI模型（如Claude 4 Sonnet），Amazon Rekognition專門進行影像分析。IAM角色集中管理許可權，無需在客戶端嵌入憑據，簡化了跨多個AWS服務的受控訪問。

三大核心技術

• 計算機視覺：處理影像和影片等視覺資訊。
• Strands Agents：用於構建AI代理的框架，支援多種模型提供商和部署目標，具備可觀測性、追蹤和可擴充套件部署。
• MCP：標準化協議，簡化AI系統與工具和資料來源的整合。

使用者介面

介面基於Streamlit構建，左側選單面板允許使用者選擇基礎模型（預設為Claude 4 Sonnet），並支援重置對話歷史。使用者可透過中央的媒體上傳區域拖放或選擇檔案上傳影像（PNG、JPG等）和影片（MP4、AVI等），最大200MB。上傳後，AI系統可執行物件裁剪、標籤檢測和詳細內容分析等任務。

MCP伺服器工具

MCP伺服器提供了多個工具：

• describe_image：使用Amazon Bedrock的Claude模型根據指令分析影像，從S3獲取影像並返回描述。
• analyze_video：利用Amazon Nova影片分析能力處理影片內容。
• detect_labels：整合Amazon Rekognition進行標籤檢測，提供置信度、邊界框等資訊。
• crop_bounding_box：基於Rekognition的物件檢測進行智慧裁剪。
• remove_background：使用rembg庫移除影像背景。

這些工具透過標準化的MCP介面暴露，使AI代理能夠以統一方式訪問視覺處理能力。系統還包含詳細的系統提示，指導代理按工作流執行任務。

總之，該解決方案將複雜的視覺智慧整合簡化為一個標準化介面，使開發者能夠輕鬆構建具有視覺能力的AI應用。