AI代理在自动化网络工作流时，通常运行在浏览器的Web层（即Playwright和Chrome DevTools Protocol（CDP）暴露的DOM中）。Amazon Bedrock AgentCore浏览器为此提供了安全、隔离的浏览器环境，能处理绝大多数自动化任务：页面导航、表单填写、元素点击、内容提取等。然而，Web层存在一个硬边界：操作系统渲染的所有原生UI（如系统打印对话框、安全提示、证书选择器、上下文菜单，甚至浏览器设置）完全位于DOM之外，CDP无法访问，Playwright也无法交互。
例如，当Web应用调用window.print()触发系统打印对话框时，Playwright没有可操作的DOM；当工作流需要键盘快捷键或右键菜单时，CDP无法在OS级别发出这些命令；当浏览器会话遇到macOS隐私对话框、Windows安全提示或证书选择器时，它们对Web自动化层完全不可见。这些问题往往在生产环境中暴露，由特定应用状态、OS配置或用户权限触发，而非测试环境。
对于基于视觉的代理，挑战更为突出。常见架构是捕获截图发送给模型，接收坐标或指令后执行。此循环在Web内容上效果良好，但一旦原生UI出现便中断：截图捕捉到了，模型分析了，却无法执行操作——CDP无法触及OS渲染的内容。
为此，亚马逊云科技推出AgentCore浏览器的操作系统级操作功能。该功能通过InvokeBrowser API暴露直接的操作系统控制，使代理能够与屏幕上可见的所有内容交互，而不仅限于浏览器Web层。通过将全桌面截图与鼠标、键盘控制相结合，代理可以在同一会话中观察、分析并操作原生UI。
工作原理
OS级操作无需额外设置，即可用于新建和现有浏览器配置。会话激活后，通过InvokeBrowser API分发操作，每次调用携带一个操作（由类型和参数标识），返回SUCCESS或FAILED状态。会话通过x-amzn-browser-session-id头标识，确保操作绑定到正确的浏览器会话。
预期的交互模式是“操作-截图-反应”循环：代理发送操作（点击、输入、快捷键），捕获截图观察当前屏幕状态，基于所见决定下一步操作。该循环使代理能够响应动态UI，包括工作流中可能出现的原生对话框和OS提示。
- 代理通过InvokeBrowser发送操作（鼠标点击、按键或快捷键）。
- AgentCore在完整桌面执行操作并返回SUCCESS或FAILED。
- 代理请求截图以观察当前屏幕状态。
- AgentCore捕获全桌面（包括原生对话框、OS模态框和浏览器窗口外的UI），返回Base64编码的PNG。
- 代理将截图发送给视觉模型，分析发生了什么并决定下一步。
- 代理基于观察发送下一个操作，循环继续。
支持的操作
OS级操作分为三类：鼠标控制、键盘输入和视觉捕获。共八种操作：
- 鼠标操作：mouseClick（点击，坐标可选，默认当前位置左键单击）、mouseMove（移动光标到坐标）、mouseDrag（从起点拖拽到终点，需四个坐标）、mouseScroll（滚动，支持水平和垂直，deltaY负值向下滚动）。
- 键盘操作：keyType（输入文本，最多10000字符）、keyPress（按键，可指定重复次数，最多100次）、keyShortcut（组合键，最多五个键，如["ctrl","a"]）。
- 截图：screenshot（捕获全桌面，返回Base64编码PNG，是唯一返回数据的操作）。
所有键盘键名必须小写，支持单字符（a-z、0-9）和命名键（enter、tab、space、backspace、delete、escape、ctrl、alt、shift等）。
入门指南
您需要创建两个客户端：控制平面客户端（bedrock-agentcore-control）用于管理浏览器资源，数据平面客户端（bedrock-agentcore）用于在会话中分发操作。首先创建IAM执行角色和自定义浏览器，然后启动会话。会话启动后，通过invoke助手函数分发OS级操作。例如，在坐标(600,370)处左键点击：invoke(endpoint, sid, {"mouseClick": {"x":600, "y":370, "button":"LEFT"}})。之后捕获截图：invoke(endpoint, sid, {"screenshot": {"format":"PNG"}})。
一个典型用例是处理window.print()触发的打印对话框：代理截图，视觉模型识别“取消”按钮坐标（如x:410,y:535），然后鼠标点击该坐标，再次截图确认对话框关闭。工作流完成后停止会话并清理资源。
结论
AgentCore浏览器最初为AI代理提供了完全托管的云端浏览器环境，通过Playwright和CDP实现页面导航、内容提取和自动化。OS级操作将这一能力扩展到Web层之外，覆盖屏幕上可见的UI。原生对话框、安全提示、键盘快捷键和浏览器chrome不再成为障碍。代理现在可以在同一会话中观察、推理并操作完整OS桌面。结合现有的视觉理解能力和与Playwright、Amazon Nova Act的框架集成，OS级操作彻底消除了浏览器自动化的最后盲区。