Codex Plugin能力模型(browser use/computer use)

Posted on Views:

1.整体定位：Codex Plugin 能力模型

Codex 插件并不是简单 API，而是：

= Skills + App Integration + MCP + Agent执行能力

官方定义：

  • 插件用于扩展 Codex 能力边界（连接外部系统/执行动作）

60a1ae1d22d3968d209f0e25b5513899.png

核心能力分层

graph TD
A[用户指令] --> B[Codex Agent]
B --> C1[Browser Use]
B --> C2[Computer Use]
B --> C3[Skills/MCP/API]
C1 --> D1[Web自动化]
C2 --> D2[本机自动化]
C3 --> D3[系统集成]

2.Browser Use（浏览器代理能力）

2.1 本质

让 Codex 直接操作“内置浏览器”

能力包括：

  • 打开网页
  • DOM 解析
  • 点击按钮
  • 填表
  • 抓取数据
  • 页面标注 + 指令执行

📌 官方描述关键点：

  • 内置 browser
  • 可对网页直接下指令（类似 Playwright + AI）

2.2 技术抽象

flowchart LR
User --> Codex
Codex --> BrowserAgent
BrowserAgent --> DOM
BrowserAgent --> JS执行
BrowserAgent --> 网络请求

2.3 实际使用场景

  • 自动登录系统
  • UI测试（替代 Selenium）
  • 数据抓取（比爬虫更智能）
  • Web运维操作（例如 Kibana / Jenkins UI）

3.Computer Use（系统级自动化能力）

3.1 本质

让 Codex 像人一样操作你的电脑

能力包括：

  • 控制鼠标/键盘
  • 操作任意 App（无 API 也行）
  • 截图识别 UI
  • 文件操作
  • 多窗口操作

📌 官方描述：

  • 可以“看屏幕 + 点击 + 输入

3.2 技术模型

flowchart TD
Codex --> ScreenCapture
Codex --> Vision理解
Codex --> MouseKeyboard
MouseKeyboard --> OS(Apps)

3.3 实际场景

  • 自动部署（点 Jenkins / Web 控制台）
  • GUI工具操作（Navicat / Kibana / Grafana）
  • 自动化测试（非API系统）
  • 运维批处理（无CLI的遗留系统）

3.4 和 Browser Use 区别

维度 Browser Use Computer Use
控制范围 浏览器内 整个操作系统
技术实现 DOM/JS OCR + Vision + 输入模拟
安全性 较高 风险更高
场景 Web自动化 全局自动化

4.架构

graph TB
A[LLM推理层] --> B[Agent执行层]

B --> C1[Browser Use]
B --> C2[Computer Use]
B --> C3[MCP/插件]

C2 --> D[操作系统]
C1 --> E[Web世界]
C3 --> F[外部系统/API]