AI代理在自動化網路工作流時，通常執行在瀏覽器的Web層（即Playwright和Chrome DevTools Protocol（CDP）暴露的DOM中）。Amazon Bedrock AgentCore瀏覽器為此提供了安全、隔離的瀏覽器環境，能處理絕大多數自動化任務：頁面導航、表單填寫、元素點選、內容提取等。然而，Web層存在一個硬邊界：作業系統渲染的所有原生UI（如系統列印對話方塊、安全提示、證書選擇器、上下文選單，甚至瀏覽器設定）完全位於DOM之外，CDP無法訪問，Playwright也無法互動。
例如，當Web應用呼叫window.print()觸發系統列印對話方塊時，Playwright沒有可操作的DOM；當工作流需要鍵盤快捷鍵或右鍵選單時，CDP無法在OS級別發出這些命令；當瀏覽器會話遇到macOS隱私對話方塊、Windows安全提示或證書選擇器時，它們對Web自動化層完全不可見。這些問題往往在生產環境中暴露，由特定應用狀態、OS配置或使用者許可權觸發，而非測試環境。
對於基於視覺的代理，挑戰更為突出。常見架構是捕獲截圖傳送給模型，接收座標或指令後執行。此迴圈在Web內容上效果良好，但一旦原生UI出現便中斷：截圖捕捉到了，模型分析了，卻無法執行操作——CDP無法觸及OS渲染的內容。
為此，亞馬遜雲科技推出AgentCore瀏覽器的作業系統級操作功能。該功能透過InvokeBrowser API暴露直接的作業系統控制，使代理能夠與螢幕上可見的所有內容互動，而不僅限於瀏覽器Web層。透過將全桌面截圖與滑鼠、鍵盤控制相結合，代理可以在同一會話中觀察、分析並操作原生UI。
工作原理
OS級操作無需額外設定，即可用於新建和現有瀏覽器配置。會話啟用後，透過InvokeBrowser API分發操作，每次呼叫攜帶一個操作（由型別和引數標識），返回SUCCESS或FAILED狀態。會話透過x-amzn-browser-session-id頭標識，確保操作繫結到正確的瀏覽器會話。
預期的互動模式是“操作-截圖-反應”迴圈：代理傳送操作（點選、輸入、快捷鍵），捕獲截圖觀察當前螢幕狀態，基於所見決定下一步操作。該迴圈使代理能夠響應動態UI，包括工作流中可能出現的原生對話方塊和OS提示。
- 代理透過InvokeBrowser傳送操作（滑鼠點選、按鍵或快捷鍵）。
- AgentCore在完整桌面執行操作並返回SUCCESS或FAILED。
- 代理請求截圖以觀察當前螢幕狀態。
- AgentCore捕獲全桌面（包括原生對話方塊、OS模態框和瀏覽器視窗外的UI），返回Base64編碼的PNG。
- 代理將截圖傳送給視覺模型，分析發生了什麼並決定下一步。
- 代理基於觀察傳送下一個操作，迴圈繼續。
支援的操作
OS級操作分為三類：滑鼠控制、鍵盤輸入和視覺捕獲。共八種操作：
- 滑鼠操作：mouseClick（點選，座標可選，預設當前位置左鍵單擊）、mouseMove（移動游標到座標）、mouseDrag（從起點拖拽到終點，需四個座標）、mouseScroll（滾動，支援水平和垂直，deltaY負值向下滾動）。
- 鍵盤操作：keyType（輸入文本，最多10000字元）、keyPress（按鍵，可指定重複次數，最多100次）、keyShortcut（組合鍵，最多五個鍵，如["ctrl","a"]）。
- 截圖：screenshot（捕獲全桌面，返回Base64編碼PNG，是唯一返回資料的操作）。
所有鍵盤鍵名必須小寫，支援單字元（a-z、0-9）和命名鍵（enter、tab、space、backspace、delete、escape、ctrl、alt、shift等）。
入門指南
您需要建立兩個客戶端：控制平面客戶端（bedrock-agentcore-control）用於管理瀏覽器資源，資料平面客戶端（bedrock-agentcore）用於在會話中分發操作。首先建立IAM執行角色和自定義瀏覽器，然後啟動會話。會話啟動後，透過invoke助手函式分發OS級操作。例如，在座標(600,370)處左鍵點選：invoke(endpoint, sid, {"mouseClick": {"x":600, "y":370, "button":"LEFT"}})。之後捕獲截圖：invoke(endpoint, sid, {"screenshot": {"format":"PNG"}})。
一個典型用例是處理window.print()觸發的列印對話方塊：代理截圖，視覺模型識別“取消”按鈕座標（如x:410,y:535），然後滑鼠點選該座標，再次截圖確認對話方塊關閉。工作流完成後停止會話並清理資源。
結論
AgentCore瀏覽器最初為AI代理提供了完全託管的雲端瀏覽器環境，透過Playwright和CDP實現頁面導航、內容提取和自動化。OS級操作將這一能力擴充套件到Web層之外，覆蓋螢幕上可見的UI。原生對話方塊、安全提示、鍵盤快捷鍵和瀏覽器chrome不再成為障礙。代理現在可以在同一會話中觀察、推理並操作完整OS桌面。結合現有的視覺理解能力和與Playwright、Amazon Nova Act的框架整合，OS級操作徹底消除了瀏覽器自動化的最後盲區。