计算机使用
如需完整文档索引,请参阅 llms.txt。文档页面的 Markdown 版本可通过在页面后追加
.md来获取 URL。
在受支持的区域, ChatGPT 桌面应用中的 Computer Use 可在 macOS 和装有 ChatGPT Work 及 Codex的 Windows 上使用。安装 Computer Use 插件。在 macOS上,在系统提示时授予屏幕录制和辅助功能权限 。
借助 Computer Use, ChatGPT 可以查看并操作 macOS 或 Windows 上的图形用户界面。对于命令行工具或结构化集成 不足以完成的任务,请使用它,例如检查桌面应用、使用浏览器、更改应用 设置、处理无法通过插件获得的数据源,或 复现只在图形用户界面中出现的错误。
由于 Computer Use 可能影响项目 工作区之外的应用和系统状态,请将其用于范围明确的任务,并在 继续前检查权限提示。
设置计算机使用
Section titled “设置计算机使用”在 ChatGPT 桌面应用中,选择 ChatGPT 并在切换器中切换到 Work,或选择 Codex。打开 插件 > Computer Use 并选择 安装插件 (如果出现提示)。如果 ChatGPT 显示 启用, 请选择它。打开 Computer Use 服务器和技能开关,然后选择 立即 试用 以开始。
交互内容: ComputerUsePluginSetupIllustration 的动态演示请参阅页面顶部的官方原文链接。
然后打开 Settings > Computer use,查看应用访问权限。已连接的浏览器 控件会显示 Manage 操作。你批准在未来任务中使用的应用会出现在 Always-allowed apps 部分。
交互内容: ComputerUseSettingsIllustration 的动态演示请参阅页面顶部的官方原文链接。
在 Windows 上,任务 运行时,请让目标应用在活动桌面上保持可见。在 macOS上,在系统提示时授予屏幕录制和辅助功能权限,以便 让 ChatGPT 可以查看目标应用并与之交互。
在 macOS 上,授予:
- 屏幕录制权限,以便 ChatGPT 查看目标应用。
- 辅助功能权限,以便 ChatGPT 点击、输入和导航。
何时使用计算机使用
Section titled “何时使用计算机使用”当任务依赖难以 仅通过文件或命令输出来验证的图形用户界面时,请选择 Computer Use。
适合使用此功能的场景包括:
- 测试 macOS 应用、Windows 应用、 iOS 模拟器流程或其他桌面应用 ,即 ChatGPT 正在构建的内容。
- 执行需要使用你的 Web 浏览器的任务。
- 复现只在图形界面中出现的错误。
- 更改需要在 UI中点击完成的应用设置。
- 检查无法通过 插件获得的应用或数据源中的信息。
- 在 macOS上,在你继续处理 其他事情时,在后台运行范围明确的任务。
- 执行跨多个应用的工作流。
对于你在本地构建的 Web 应用,请优先使用 内置浏览器 。
Windows 前台使用
Section titled “Windows 前台使用”在 Windows 上,Computer Use 在活动桌面上运行。它不能在 后台运行的同时让你继续使用同一个 Windows 会话,因此请预期 ChatGPT 会 移动指针、输入内容,并在任务运行时接管前台。
对于需要在你离开后继续运行的 Windows 任务,请保持 Windows 设备解锁并连接到互联网。使用 远程控制 从手机检查进度 或发送后续指令,或在 Windows 虚拟 ChatGPT 机中运行桌面应用 ,让 Computer Use 接管 VM 而不是你的主桌面。
开始计算机使用任务
Section titled “开始计算机使用任务”在提示词中提到 @Computer 或 @AppName ,或要求 ChatGPT 使用 Computer
Use。描述 ChatGPT 应操作的确切应用、窗口或流程。
Open the app with Computer Use, reproduce the onboarding bug, and fix thesmallest code path that causes it. After each change, run the same UI flowagain.Open @Chrome and verify the checkout page still works after the latest changes.如果目标应用提供专用插件或 MCP 服务器,请优先使用该 结构化集成来访问数据并执行可重复操作。选择 Computer Use,当 ChatGPT 需要以可视方式检查或操作应用时。
Computer Use 的系统权限与 ChatGPT中的应用批准是分开的。 在 macOS上,屏幕录制和辅助功能权限让 ChatGPT 能够查看并 操作应用。应用批准决定你允许 ChatGPT 使用哪些应用。文件 读取、文件编辑和 shell 命令仍遵循该任务的沙箱和批准 设置。
借助 Computer Use, ChatGPT 只能在你允许的应用中查看并执行操作。 在任务期间, ChatGPT 需要先获得你的许可,才能使用你 电脑上的某个应用。你可以选择 始终允许 ,这样 ChatGPT 将来就能使用该应用 而无需再次询问。你可以从 始终允许 列表中移除应用,该列表位于 Computer Use 部分的 ChatGPT 桌面应用设置中。
交互内容: CodexScreenshot 的动态演示请参阅页面顶部的官方原文链接。
ChatGPT 也可能会在执行敏感或具有干扰性的操作前请求许可。
如果 ChatGPT 无法查看或控制某个应用,请打开 系统设置 > 隐私与 安全性 并检查 屏幕录制 和 辅助功能 中 Codex Computer Use 在 macOS上的权限。在 Windows 上,确保目标应用在 活动桌面会话中可见。
在 Windows 上,Computer Use 会将持久应用决策存储在
$CODEX_HOME/config.toml中。列出 Computer Use 可以无需
提示即可打开的应用:
[computer_use.windows]always_allowed_app_ids = ["mspaint.exe"]使用 Windows Computer Use 报告的应用标识符,例如桌面应用的可执行 文件名,或打包应用的应用用户模型 ID 。 ChatGPT 会对不在列表中的应用发出提示。要撤销已保存的决策,请从 以下位置移除该应用: 设置 > Computer Use > 始终允许。
此表存储本地 Computer Use 决策。它与
由管理员强制执行的 requirements.toml是分开的,管理员可以在其中使用
禁用 Computer [features].computer_use = falseUse。较旧的
$CODEX_HOME/computer-use/config.toml 允许列表条目会迁移到
当前设置;它的 denied 列表不属于当前策略架构。
锁定使用适用于 macOS。在 Windows 上,计算机使用功能以前台方式运行。
锁定使用让 ChatGPT 可以在你的 Mac 锁定后使用 Computer Use,但前提是 你已启用它。当 ChatGPT 任务需要在 Mac 锁定后从 已连接设备使用桌面应用时,请使用它。
启用锁定使用时, ChatGPT 会安装一个 Apple 授权插件 ,该插件会参与 macOS 解锁流程。
锁定使用的范围有意保持狭窄。它不是适用于 Mac 的通用远程解锁 路径,也不会让其他应用或本地进程解锁 电脑。
若要使用锁定使用:
- 打开 设置 > Computer Use 。
- 启用锁定使用。
- 在你的 Mac 屏幕锁定后,从已连接设备启动一个使用 Computer Use 的任务。
当 ChatGPT 任务在你的 Mac 锁定后通过 Computer Use 访问应用时, ChatGPT 会临时解锁 Mac,同时阻止本地使用并保留锁定 屏幕保护。在解锁前, ChatGPT 会检查该解锁尝试是否 对应一个正在进行且受信任的 Computer Use 回合。在这个短暂窗口之外, ChatGPT 会拒绝解锁,并在需要时要求你手动解锁。
锁定使用包含以下安全措施:
- 授权窗口持续时间很短,并且仅限于当前解锁 尝试。
- 自动解锁仅在 ChatGPT 处于活跃的 Computer Use 回合期间可用。
- ChatGPT 会在桌面临时解锁时覆盖每个显示器。
- 如果 ChatGPT 检测到本地键盘或指针输入,它会重新锁定 Mac,并 暂停自动解锁,直到你手动解锁。
借助 Computer Use, ChatGPT 可以查看屏幕内容、截取屏幕截图,并与 目标应用中的窗口、菜单、键盘输入和剪贴板状态交互。 请将目标应用中可见的应用内容、浏览器页面、屏幕截图和打开的文件视为 任务运行期间 ChatGPT 可能处理的上下文。
让任务保持范围明确,并在敏感流程期间留在设备旁:
- 一次只给 ChatGPT 一个明确的目标应用或流程。
- 你可以随时停止任务或接管你的电脑。
- 除非任务需要,否则请关闭敏感应用。
- 在 Windows 上,请预期 ChatGPT 工作时会接管前台输入;请使用 辅助设备、 VM,或在自己使用该桌面前停止任务。
- 避免执行需要机密信息的任务,除非你在场并能批准每 一步。
- 在允许 ChatGPT 使用某个应用前,请检查应用权限提示。
- 仅对你信任 始终允许 的应用使用 ChatGPT ,让其在 未来任务中自动使用。
- 处理账户、安全、隐私、网络、付款或 凭据相关设置时,请保持在场。
- 如果 ChatGPT 开始与错误的窗口交互,请取消任务。
如果 ChatGPT 使用你的浏览器,它可以与你已经 登录的页面交互。请像自己执行这些网站操作一样进行检查:网页 可能包含恶意或误导性内容,网站可能会将已批准的点击、 表单提交和已登录操作视为来自你的账户。要在 继续使用你的浏览器的同时让 ChatGPT 工作,请要求 ChatGPT 使用其他浏览器。
该功能无法自动化终端应用或 ChatGPT 自身,因为自动化它们 可能绕过 ChatGPT 安全策略。它也无法以 管理员身份进行身份验证,或批准你 电脑上的安全和隐私权限提示。
文件编辑和 shell 命令仍会遵循 ChatGPT 批准和沙箱设置 (如适用)。通过桌面应用所做的更改,可能要等保存到磁盘并被项目跟踪后,才会显示在审查 窗格中。你的 ChatGPT 数据 控制适用于通过 ChatGPT处理的内容,包括 Computer Use 截取的屏幕截图。