来源:IT之家
OpenAI 昨日凌晨发布 GPT-4o 模型,可以视为 GPT-4 的升级版本,可以实时推理处理音频、视觉和文本内容,而且能更加无缝地和 ChatGPT 交互。
OpenAI 总裁兼联合创始人格雷格布罗克曼(Greg Brockman)随后发布了上手演示,让两台运行 GPT-4o 的设备进行语音或视频交互。
布罗克曼在演示开始之前,表达了自己的期望:让两台 AI 聊天机器人互相交流。布罗克曼向其中 A 聊天机器人讲述了他的期望,并让 B 聊天机器人可以调用摄像头观察周围世界。
B 聊天机器人会调用前置摄像头,并清晰地描绘出用户的穿着和所处的环境。然后 A 聊天机器人可以与它对话并提出问题,包括移动摄像头和它所看到的内容。
对话中,新版本 ChatGPT 不仅能通过视觉 AI 能力理解摄像头中发生的事情,同时还能够将理解的内容通过语音交互,进行更加丰富有趣的互动,同时还支持中途打断和对话插入,且具备上下文记忆能力。