克雷西 发自 凹非寺
量子位 | 公众号 QbitAI

ChatGPT客户端，支持“读屏编程”了。

即日起，Mac端的Plus用户，可以直接让ChatGPT客户端读取开发工具中的代码。

目前，包括常用的Xcode和VS Code在内，该功能一共支持五款编程工具。

网友Mckay Wrigley表示，这像是在做梦一样，已经迫不及待想看到未来的发展了。

还有网友说，OpenAI宣传的案例太简单了，实际上这个功能比演示得更加强大。

Mac版更新的同时，Windows用户翘首以待的桌面客户端也终于全量上线。

Mac端plus用户可“读屏编程”

从今天开始，ChatGPT的Mac客户端可以“读屏编程”了。

在OpenAI的官方宣传视频中，演示者要求给一个实例APP添加一个选项卡。

可以看到ChatGPT自动将现有代码导入会话，并根据要求生成了新的完整代码。

实际上，这是OpenAI在Mac版ChatGPT客户端中上线的“Work with Apps”功能，最先覆盖到编程工具的结果。

具体来说，目前该功能支持Xcode、VS Code和TextEdit三款IDE或编辑器（其中VS Code需安装插件），以及Terminal和iTerm这两款终端型工具。

开始使用之前，需要到系统设置中为ChatGPT客户端开启“辅助功能”权限。

在三款编辑器中，ChatGPT会处理最前面的窗口中包含的完整代码，直到超出窗口长度限制。

如果在编辑器中选择了部分内容，ChatGPT会在处理完整窗口的同时，重点关注被选中的部分。

而对于两款终端类工具，ChatGPT会处理窗口中的最后200行。

目前该功能已经开放给了Plus和Team订阅用户，“接下来几周”会覆盖Enterprise和Edu用户。

从“Work with Apps”这个名字可以看出，该功能可能不只面向编程工具，未来可能支持更多应用。

鉴于有爆料称OpenAI计划明年上线其智能体，“Work with Apps”不排除是OpenAI在这个方向上的初步尝试。

不过目前来看，“Work with Apps”功能是通过调用苹果的“辅助功能”接口实现，而不是通过视觉方式来读取屏幕内容。

而且根据现有代码生成的新内容也不能直接导入编程工具，需要手动复制粘贴。

所以，这波ChatGPT的用户体验，还是受到了一些吐槽。

相比之下，OpenAI的竞争对手Anthropic和谷歌，都已经有了基于视觉的屏幕操作功能。

希望到OpenAI的Agent真正上线那一天，用户体验也能有所提升。

Windows客户端全量上线

除了Mac版功能更新，这次OpenAI也给Windows用户带来了好消息——

Windows客户端已经全量上线，免费用户也能使用了。

全量上线的客户端已经支持高级语音模式，最新推出的搜索功能也安排上了。

类似于Mac里的option+空格，在Windows系统中，可以在任何界面通过Alt+空格组合键来调用ChatGPT。

在唤起的弹窗中，可以输入文本、上传屏幕截图、摄像头拍照或上传本地文件。

微软应用商店界面显示，Windows客户端于9月7日上架，而按照OpenAI官网的信息，测试版在10月开放给了Plus、Team、Enterprise和Edu这些付费用户。

但总之从即日起，无论是不是付费用户都可以体验Windows客户端了。

另外在OpenAI官推公告的评论区，有很多网友询问支不支持Windows 10：

关于这个问题，微软应用商店显示是支持的，不过子版本号需要17763.0（又叫2018年10月更新或版本1809）以上。

参考链接：
[1]https://techcrunch.com/2024/11/14/chatgpt-can-now-read-some-of-your-macs-desktop-apps/
[2]https://help.openai.com/en/articles/10119604-work-with-apps-on-macos
[3]https://help.openai.com/en/articles/10003026-windows-app-release-notes