AI代理在自動化網絡工作流時，通常運行在瀏覽器的Web層（即Playwright和Chrome DevTools Protocol（CDP）暴露的DOM中）。Amazon Bedrock AgentCore瀏覽器為此提供了安全、隔離的瀏覽器環境，能處理絕大多數自動化任務：頁面導航、表單填寫、元素點擊、內容提取等。然而，Web層存在一個硬邊界：操作系統渲染的所有原生UI（如系統打印對話框、安全提示、證書選擇器、上下文菜單，甚至瀏覽器設置）完全位於DOM之外，CDP無法訪問，Playwright也無法交互。
例如，當Web應用調用window.print()觸發系統打印對話框時，Playwright沒有可操作的DOM；當工作流需要鍵盤快捷鍵或右鍵菜單時，CDP無法在OS級別發出這些命令；當瀏覽器會話遇到macOS隱私對話框、Windows安全提示或證書選擇器時，它們對Web自動化層完全不可見。這些問題往往在生產環境中暴露，由特定應用狀態、OS配置或用户權限觸發，而非測試環境。
對於基於視覺的代理，挑戰更為突出。常見架構是捕獲截圖發送給模型，接收座標或指令後執行。此循環在Web內容上效果良好，但一旦原生UI出現便中斷：截圖捕捉到了，模型分析了，卻無法執行操作——CDP無法觸及OS渲染的內容。
為此，亞馬遜雲科技推出AgentCore瀏覽器的操作系統級操作功能。該功能通過InvokeBrowser API暴露直接的操作系統控制，使代理能夠與屏幕上可見的所有內容交互，而不僅限於瀏覽器Web層。通過將全桌面截圖與鼠標、鍵盤控制相結合，代理可以在同一會話中觀察、分析並操作原生UI。
工作原理
OS級操作無需額外設置，即可用於新建和現有瀏覽器配置。會話激活後，通過InvokeBrowser API分發操作，每次調用攜帶一個操作（由類型和參數標識），返回SUCCESS或FAILED狀態。會話通過x-amzn-browser-session-id頭標識，確保操作綁定到正確的瀏覽器會話。
預期的交互模式是“操作-截圖-反應”循環：代理發送操作（點擊、輸入、快捷鍵），捕獲截圖觀察當前屏幕狀態，基於所見決定下一步操作。該循環使代理能夠響應動態UI，包括工作流中可能出現的原生對話框和OS提示。
- 代理通過InvokeBrowser發送操作（鼠標點擊、按鍵或快捷鍵）。
- AgentCore在完整桌面執行操作並返回SUCCESS或FAILED。
- 代理請求截圖以觀察當前屏幕狀態。
- AgentCore捕獲全桌面（包括原生對話框、OS模態框和瀏覽器窗口外的UI），返回Base64編碼的PNG。
- 代理將截圖發送給視覺模型，分析發生了什麼並決定下一步。
- 代理基於觀察發送下一個操作，循環繼續。
支持的操作
OS級操作分為三類：鼠標控制、鍵盤輸入和視覺捕獲。共八種操作：
- 鼠標操作：mouseClick（點擊，座標可選，默認當前位置左鍵單擊）、mouseMove（移動光標到座標）、mouseDrag（從起點拖拽到終點，需四個座標）、mouseScroll（滾動，支持水平和垂直，deltaY負值向下滾動）。
- 鍵盤操作：keyType（輸入文本，最多10000字符）、keyPress（按鍵，可指定重複次數，最多100次）、keyShortcut（組合鍵，最多五個鍵，如["ctrl","a"]）。
- 截圖：screenshot（捕獲全桌面，返回Base64編碼PNG，是唯一返回數據的操作）。
所有鍵盤鍵名必須小寫，支持單字符（a-z、0-9）和命名鍵（enter、tab、space、backspace、delete、escape、ctrl、alt、shift等）。
入門指南
您需要創建兩個客户端：控制平面客户端（bedrock-agentcore-control）用於管理瀏覽器資源，數據平面客户端（bedrock-agentcore）用於在會話中分發操作。首先創建IAM執行角色和自定義瀏覽器，然後啓動會話。會話啓動後，通過invoke助手函數分發OS級操作。例如，在座標(600,370)處左鍵點擊：invoke(endpoint, sid, {"mouseClick": {"x":600, "y":370, "button":"LEFT"}})。之後捕獲截圖：invoke(endpoint, sid, {"screenshot": {"format":"PNG"}})。
一個典型用例是處理window.print()觸發的打印對話框：代理截圖，視覺模型識別“取消”按鈕座標（如x:410,y:535），然後鼠標點擊該座標，再次截圖確認對話框關閉。工作流完成後停止會話並清理資源。
結論
AgentCore瀏覽器最初為AI代理提供了完全託管的雲端瀏覽器環境，通過Playwright和CDP實現頁面導航、內容提取和自動化。OS級操作將這一能力擴展到Web層之外，覆蓋屏幕上可見的UI。原生對話框、安全提示、鍵盤快捷鍵和瀏覽器chrome不再成為障礙。代理現在可以在同一會話中觀察、推理並操作完整OS桌面。結合現有的視覺理解能力和與Playwright、Amazon Nova Act的框架集成，OS級操作徹底消除了瀏覽器自動化的最後盲區。