AI图鉴

AI图鉴首页 › AI 资讯 › Claude Code vs Codex：Computer Use 实现原理深度

Claude Code vs Codex：Computer Use 实现原理深度拆解

来源：掘金 · 发布时间：10-26 · 由 AI图鉴每小时自动聚合

一、核心概念澄清 在深入技术细节之前，首先厘清两个容易混淆的事实： 产品 底层模型 Computer Use 集成方式 Claude Code Claude Sonnet 3.5/3.7、Claude

一、核心概念澄清

在深入技术细节之前，首先厘清两个容易混淆的事实：

简单说：Claude 的所有视觉模型都内置了 computer use 能力；而 OpenAI 经历了从「专用 CUA 模型」到「GPT-5.4 通用模型原生支持」的演进。

二、架构全景对比

2.1 整体架构图

┌─────────────────────────────────────────────────────────────────────────┐

│ Claude Code 架构 │

│ │

│ ┌──────────────┐ tool_use 请求 ┌─────────────┐ 截图/动作执行 │

│ │ Claude API │ ───────────────▶ │ Agent Loop │ ──────┐ │

│ │ (Messages │ ◀─────────────── │ (用户端) │ ◀─────┤ │

│ │ API + Beta) │ tool_result └─────────────┘ │ │

│ └──────────────┘ ┌────────┴──────┐ │

│ tools: [computer_20251124, bash, text_editor] │ Sandbox 环境 │ │

│ Beta Header: "computer-use-2025-01-24" │ Xvfb + Mutter │ │

│ │ + Firefox/... │ │

│ 能力来源：模型基础视觉理解 + 工具调用对齐 └────────────────┘ │

└─────────────────────────────────────────────────────────────────────────┘

┌─────────────────────────────────────────────────────────────────────────┐

│ OpenAI Codex / GPT-5.4 架构 │

│ │

│ ┌──────────────┐ computer_call 请求 ┌─────────────┐ 截图/动作执行 │

│ │ Responses │ ─────────────────▶ │ Agent Loop │ ──────┐ │

│ │ API │ ◀───────────────── │ (用户端) │ ◀─────┤ │

│ │ │ computer_call_output└─────────────┘ │ │

│ └──────────────┘ ┌────────┴──────┐ │

│ tools: [computer_use_preview] │ Sandbox 环境 │ │

│ 参数: display_width, display_height, environment│ 默认禁网络 │ │

│ │ │ │

│ 能力来源：GPT-5.4 原生视觉+推理+RL 训练 └────────────────┘ │

└─────────────────────────────────────────────────────────────────────────┘

2.2 Agent Loop 对比

两者都采用 模型请求动作 → 用户执行 → 返回结果 → 循环 的架构，但 API 协议不同。

Claude（Messages API）：

# 用户代码控制完整循环

while True:

response = client.beta.messages.create(

model="claude-opus-4-6",

tools=[...], # 工具定义在每次请求中

messages=messages, # 显式传递完整消息历史

betas=["computer-use-2025-01-24"],

thinking={"type": "enabled", "budget_tokens": 2000}

)

# 检查 stop_reason == "tool_use"

# 执行工具 → 构造 tool_result → 追加到 messages

OpenAI（Responses API）：

# 可用 previous_response_id 自动链接上下文

response = client.responses.create(

model="gpt-5.4",

previous_response_id=prev_id, # 自动管理 history

tools=[{...}],

input=[...current step...] # 只传本轮输入

)

# 检查 output 中的 computer_call

# 执行动作 → 构造 computer_call_output → 下轮请求

关键差异：

- Claude 显式传递完整 messages 数组

- OpenAI 支持 previous_response_id 自动链接上下文，更省 token

- Claude 用 tool_result 类型返回结果；OpenAI 用 computer_call_output 类型

三、Computer Tool 能力对比

3.1 动作集对比

Claude 优势：动作集更丰富（约 17 种 vs 9 种核心），支持 hold_key（如 Ctrl+点击）、triple_click、鼠标按键精确控制（按下/释放）等细粒度操作。

OpenAI 优势：environment 参数显式告知模型当前环境类型，有助于模型选择正确的 GUI 交互策略。

3.2 工具声明方式

# Claude — tools 数组声明

tools = [{

"type": "computer_20251124", # 版本化工具类型

"name": "computer",

"display_width_px": 1280, # 坐标空间声明

"display_height_px": 720,

"display_number": 1,

"enable_zoom": True # 可选功能开关

}]

# OpenAI — tools 数组声明（Responses API）

tools = [{

"type": "computer_use_preview",

"display_width": 1024, # 坐标空间

"display_height": 768,

"environment": "browser" # 环境类型提示

}]

四、底层模型能力对比

4.1 模型演进路线

4.2 视觉输入能力

关键洞察：两边模型内部都会对超分辨率图片进行下采样，但处理方式不同：

- Claude 是隐式处理：API 内部自动缩放后返回对应坐标

- GPT-5.4 引入显式 detail level 选择，给开发者更多控制

Claude 官方特别强调：必须在发送前手动将截图缩放到 API 限制内，否则 API 会静默下采样导致「模型看到的图片」和「它返回的坐标空间」不匹配——这是 click 不准的第一大原因。

4.3 基准测试成绩

⚠️ 注意：这些数字来自不同时间点的官方发布，具体测试设置（最大步数、分辨率）可能有差异，不完全可比。

五、安全机制对比

5.1 Prompt Injection 防护

5.2 沙箱隔离

六、技术实现细节

6.1 坐标缩放的关键陷阱

两边都需要开发者处理的问题：

截图原始分辨率 (screen_w × screen_h)

↓ 下采样

模型看到的图片 (display_w × display_h)

↓ 返回坐标

模型输出点击坐标 (click_x, click_y) —— 注意这是 display 坐标系！

↓ 缩放回去

实际执行位置 (click_x * screen_w/display_w, click_y * screen_h/display_h)

Claude 官方给出的代码模式：

# 模型返回 display 坐标系的坐标，需要缩放回实际屏幕

scale_x = screen_w / display_w # display_w 是传给 API 的值

scale_y = screen_h / display_h

actual_x = int(click_x * scale_x)

actual_y = int(click_y * scale_y)

6.2 Claude 的 enable_zoom 机制

Claude 4.6+ 新增 enable_zoom: True 功能：

- 模型可以自主决定「放大」某个屏幕区域

- 针对密集 UI 中的小目标（checkbox、系统托盘图标等）特别有效

- 放大逻辑在模型内部完成，开发者无需额外处理

6.3 OpenAI Responses API 的 previous_response_id

GPT-5.4 引入的对话上下文管理机制：

# 无需手动拼接消息历史

response1 = client.responses.create(model="gpt-5.4", ...)

response2 = client.responses.create(

model="gpt-5.4",

previous_response_id=response1.id, # 自动链接

input=[...] # 只传本轮

)

这比 Claude 每次显式传递完整 messages 数组更高效，节省 token。

6.4 Codex 的组合能力

Codex（GPT-5.4）可以同时使用多种工具：

- bash — 执行 shell 命令

- computer — 视觉+鼠标键盘

- file_search — 文件搜索

- web_search — 网页搜索

- 自定义 MCP 工具

Claude Code 类似，可以组合 computer + bash + text_editor 三个 beta 工具。

七、开发体验对比

八、总结：谁更好？

8.1 技术特性对比矩阵

8.2 选择建议

选 Claude 如果：

- 需要丰富的鼠标/键盘细粒度控制（hold_key、triple_click 等）

- 目标 UI 密集、小目标多（enable_zoom 能显著提升）

- 需要开源参考实现快速上手

选 GPT-5.4 如果：

- 追求最高 OSWorld 等 benchmark 成绩

- 需要处理高分辨率原始截图（10.24MP）

- 希望 API 更标准、上下文管理更高效

- 已经在使用 Codex 或 OpenAI Agents SDK

两者共同的工程挑战：

- 坐标缩放 —— 模型坐标系 vs 实际屏幕坐标系的对齐是 click 准确率的基础

- 图片下采样 —— 必须在发送前手动控制，不能依赖 API 自动处理

- Agent Loop 终止条件 —— 需要设置最大迭代次数防止无限循环

- Prompt injection 防护 —— 两边都有机制，但开发者仍需做好隔离

九、核心结论

两者底层都是「视觉模型理解截图 → 输出鼠标/键盘坐标 → 用户端执行 → 返回新截图」的 Agent Loop 范式，但设计哲学不同：

- Claude：给模型更多动作选项，让它用丰富词汇表达意图（17 种动作 + enable_zoom）

- OpenAI：用更好的训练和更高的分辨率让模型看清楚（RL 训练 + 10.24MP 输入）

选择哪一个更多取决于你的具体场景和已有的技术栈。

Sources

- Anthropic Computer Use API Docs — docs.anthropic.com/en/docs/age…

- Anthropic Best Practices for Computer and Browser Use — claude.com/blog/best-p…

- OpenAI Computer-Using Agent 发布 — openai.com/index/compu…

- OpenAI Introducing GPT-5.4 — openai.com/index/intro…

- OpenAI Agents SDK Computer 接口 — openai.github.io/openai-agen…

- Azure OpenAI Computer Use — learn.microsoft.com/en-us/azure…

- OpenAI Introducing Upgrades to Codex — openai.com/index/intro…

- OSWorld 2.0 Benchmark — arxiv.org/abs/2606.29…

本文由 AI图鉴自动抓取并翻译，版权归原作者所有；如需查看原文请点下方链接。

相关 AI 工具

小米 MiMo

小米自研大模型开放平台，V2.6 系列含 Pro / Flash 全模态模型，提供 OpenAI 兼容 AP

AutoResearch

AutoResearch 面向 AI 建模科研，串联文献探索、研究想法、模型实现、GPU 实验、图表整理和论

BeePOP

面向跨境电商卖家的 SKU 内容流水线，上传产品图后生成主图、卖点图、场景图、对比图、多场景图、细节图、展台

Claude Code

Anthropic 推出的AI编程工具

相关免费羊毛

Kilo Code

12 个免费模型，面向编程 Agent

Kiro

AWS 智能体 IDE 免费档：每月 50 积分

Amazon Bedrock

新用户 $200 AWS 额度

Anakin.ai

每日 30 个免费额度

同源资讯

AI 真的会替代程序员吗：从 55.8% 提速到 19% 变慢的八组关键数据拆解

掘金 · 10-26

一天一个开源项目（第248篇）：CleanYourTV —— 让 AI 编程助手通过 Wi-Fi 给安卓电视去广

掘金 · 10-26

AI Vibe Coding 实战：SMS 套件提示词与开发方案

掘金 · 10-26

AI 时代的 “房谋杜断”：如何培养能力、品味与判断力

掘金 · 10-26

720P 直升 8K，解密 2026 抖音美好奇妙夜巨幕超分黑科技

掘金 · 10-26

AI 越强，失业越严重

掘金 · 10-26

阅读原文（juejin.cn）

标题、摘要与正文均来自该信源的公开页面，版权归原作者所有；本站自动聚合与翻译，仅作出处跳转。

← 返回 AI 资讯列表AI工具图鉴首页

返回 AI图鉴首页 · 提交工具 · 商务合作 · 关于本站 · 591 款 AI 工具分类导航 · 每日 AI 热门项目与动态