ChatGPT客户端,支持“读屏编程”了。
即日起,Mac端的Plus用户,可以直接让ChatGPT客户端读取开发工具中的代码。
目前,包括常用的Xcode和VS Code在内,该功能一共支持五款编程工具。
网友Mckay Wrigley表示,这像是在做梦一样,已经迫不及待想看到未来的发展了。
还有网友说,OpenAI宣传的案例太简单了,实际上这个功能比演示得更加强大。
Mac版更新的同时,Windows用户翘首以待的桌面客户端也终于全量上线。
从今天开始,ChatGPT的Mac客户端可以“读屏编程”了。
在OpenAI的官方宣传视频中,演示者要求给一个实例APP添加一个选项卡。
可以看到ChatGPT自动将现有代码导入会话,并根据要求生成了新的完整代码。
实际上,这是OpenAI在Mac版ChatGPT客户端中上线的“Work with Apps”功能,最先覆盖到编程工具的结果。
具体来说,目前该功能支持Xcode、VS Code和TextEdit三款IDE或编辑器(其中VS Code需安装插件),以及Terminal和iTerm这两款终端型工具。
开始使用之前,需要到系统设置中为ChatGPT客户端开启“辅助功能”权限。
在三款编辑器中,ChatGPT会处理最前面的窗口中包含的完整代码,直到超出窗口长度限制。
如果在编辑器中选择了部分内容,ChatGPT会在处理完整窗口的同时,重点关注被选中的部分。
而对于两款终端类工具,ChatGPT会处理窗口中的最后200行。
目前该功能已经开放给了Plus和Team订阅用户,“接下来几周”会覆盖Enterprise和Edu用户。
从“Work with Apps”这个名字可以看出,该功能可能不只面向编程工具,未来可能支持更多应用。
鉴于有爆料称OpenAI计划明年上线其智能体,“Work with Apps”不排除是OpenAI在这个方向上的初步尝试。
不过目前来看,“Work with Apps”功能是通过调用苹果的“辅助功能”接口实现,而不是通过视觉方式来读取屏幕内容。
而且根据现有代码生成的新内容也不能直接导入编程工具,需要手动复制粘贴。
所以,这波ChatGPT的用户体验,还是受到了一些吐槽。
相比之下,OpenAI的竞争对手Anthropic和谷歌,都已经有了基于视觉的屏幕操作功能。
希望到OpenAI的Agent真正上线那一天,用户体验也能有所提升。
除了Mac版功能更新,这次OpenAI也给Windows用户带来了好消息——
Windows客户端已经全量上线,免费用户也能使用了。
全量上线的客户端已经支持高级语音模式,最新推出的搜索功能也安排上了。
类似于Mac里的option+空格,在Windows系统中,可以在任何界面通过Alt+空格组合键来调用ChatGPT。
在唤起的弹窗中,可以输入文本、上传屏幕截图、摄像头拍照或上传本地文件。
微软应用商店界面显示,Windows客户端于9月7日上架,而按照OpenAI官网的信息,测试版在10月开放给了Plus、Team、Enterprise和Edu这些付费用户。
但总之从即日起,无论是不是付费用户都可以体验Windows客户端了。
另外在OpenAI官推公告的评论区,有很多网友询问支不支持Windows 10:
关于这个问题,微软应用商店显示是支持的,不过子版本号需要17763.0(又叫2018年10月更新或版本1809)以上。
参考链接:
[1]https://techcrunch.com/2024/11/14/chatgpt-can-now-read-some-of-your-macs-desktop-apps/
[2]https://help.openai.com/en/articles/10119604-work-with-apps-on-macos
[3]https://help.openai.com/en/articles/10003026-windows-app-release-notes
本文来自微信公众号“量子位”,作者:克雷西 ,36氪经授权发布。