附AI实时语音接口申请 | OpenAI 发布实时 API，AI 实时语音时代如何抢占风口

10 月 2 日，OpenAI 发布了实时 API 公开测试版，用于构建基于 GPT-4o 语音到语音的 AI 应用和智能体。这是 GPT-4o 发布之后，OpenAI 在实时语音交互能力上的最新进展。

GPT-4o 所展现出的实时语音交互能力让外界印象深刻。而这很大程度上归功于 GPT-4o 大幅降低的语音延迟，平均 320 毫秒的反应时间，让 AI 与人的对话第一次接近了人类真实对话间的反应速率。同时其语气和情感模拟，也更加深 AI 与人类沟通之间的沉浸感。而国庆假期间，OpenAI 发布的实时 API 公开测试版，则瞄准了 GPT-4o 语音到语音的 AI 应用和智能体，这像是给所以 AI 应用开发者的一个信号：大模型发展近两年后，基于声音的实时对话式 AI 场景或许会开始变的瞩目起来。

参考链接：https://azureopenai.cloudallonline.com/?zxwsh173

微软 Azure OpenAI 实时语音接口申请

很快，微软宣布 GPT-4o-Realtime-Preview 音频和语音公开预览版的推出，这是对Microsoft Azure OpenAI 服务的重大增强，增加了高级语音功能并扩展了 GPT-4o 的多模式产品。这一里程碑进一步巩固了 Azure 在人工智能领域的领导地位，尤其是在语音技术领域。Azure 在这一领域的传统通过其语音服务长期确立，该服务集成了语音转文本、文本转语音、神经语音和实时翻译功能，涵盖 Teams、Office 365 和 Edge 等核心 Microsoft 产品。

现在，GPT-4o-Realtime-Preview 通过将语言生成与无缝语音交互相结合，进一步突破了界限，为开发人员提供了打造更自然、对话式 AI 体验所需的工具。从创建虚拟助手到提供实时客户支持，这种新模式为语音驱动的应用程序开辟了广泛的可能性。作为新发布的 Copilot Voice 产品的一部分，新模型还与 Copilot 集成。

PS：虽然OpenAI已正式封锁了中国地区API，但微软Azure OpenAI服务仍可以合规、稳定地提供企业用户使用ChatGPT的可能。出于合规角度，国内企业可以选择微软的Azure OpenAI服务来使用接口。

OpenAI 这次也公布了三家语音 API 合作者的身份：LiveKit、Twilio，以及 Agora。值得一提的是，前几年曾经爆火的 ClubHouse，背后的技术提供方就是 Agora，其兄弟公司声网则在国内更为人所知。Agora 聚焦美国和国际市场，声网则已经俨然是中国市场中 RTC（实时音视频，Real-time Communications）能力最头部且主要的提供者。

而当下实时对话式 AI 这场还未完全起势的浪潮背后，发展多年的 RTC 技术作为一项基础能力，已经逐渐靠近实时多模态大模型发展浪潮的核心。

无可置疑的，大模型能力的提升直接促进了端到端实时多模态大模型的崛起。此前，实时对话中的语音处理是基于传统的三步骤——语音识别、语音转文字、文字转语音（STT-LLM-TTS）——方法来进行的。现在得益于大模型自身能力的进化，端到端实时多模态模型能够直接处理语音，这与传统的三步骤处理方法相比，响应速度要提升很多，这也是为什么实时对话式 AI 的前景开始备受期待。语音处理这个技术难题被攻下后，大模型领域的头部玩家们已经开始用脚投票了。

今年 6 月，Character AI 推出新的语音功能，用户可以与 AI 角色进行语音对话。这家人工智能聊天机器人初创公司表示，新的通话功能在推出初期就吸引了来自 300 多万用户的 2000 多万次通话。Character AI 推出新语音功能几天后，微软 AI 负责人 Mustafa Suleyman 透露微软将在今年年底为用户拿出实时的语音界面，允许完全动态的交互。

而在国内的大模型领域，智谱 AI 8 月末在智谱清言中上线了国内首个面向 C 端的视频通话功能，该功能让用户能够通过应用程序进行语音和视频互动，整个体验类似于与真人对话。用户不仅可以使用手机的前置或后置摄像头进行视频通话，还能进行语音交互。这项功能特别适合在日常生活中的各种场景应用，比如协助学习、辨识物品等。

而在智谱清言新功能上线同日，科大讯飞星火极速超拟人交互技术也正式上线讯飞星火 APP，星火极速超拟人交互在响应和打断速度、情绪感知情感共鸣、语音可控表达、人设扮演四个方面实现重大突破，让整体交互体验更自然、更具情感。电影《Her》中的场景，似乎真的要成真了。但 GPT-4o 进一步打开实时对话式 AI 的想象力所给人带来的启示，或许是我们仍然低估了「实时」在交互体验上的重要性。

实时对话式 AI 中，「实时」与「AI」一样重要，甚至作为一场与 AI 的对话体验中最决定性的变量，「实时」实际上的重要性要更胜后者。但要把「实时」拉到极限，端到端实时多模态模型的崛起只是近来取得技术突破的一条明线——它从思考速度上缩短了语音的交互时间。而另一条更绵长的发展暗线则是 RTC（实时音视频，Real-Time Communications）技术的持续进步。

更详细的拆解一下多模态大模型中实时语音交互的核心路径，大概就能辨析 RTC 技术在其中的重要意义：首先，语音输入经过 RTC 传输到服务器，服务器端的多模态大模型接收到语音后开始预处理，这里的预处理主要包含了音频的 3A，例如语音的降噪、增益控制、回声消除等操作，使得后续的语音识别更加准确，让大模型更能听懂用户说的话；

随后，预处理的语音数据送入模型进行语音识别和理解，系统再通过模型生成回应，这其中还需要通过语音合成技术转换为语音信号；

最后，语音数据通过 RTC 传输到用户端，完成一次完整的语音交互。

声网在实践中发现，传统的 AI 语音对话（STT-LLM-TTS）在应用 RTC 后，响应延时可从 4-5 秒降低到 1-2 秒，而在具备端到端实时多模态处理能力后，通过 RTC 技术，大模型实时语音对话的延时可降到几百毫秒内。从体验上看，RTC 技术的应用让对话式大模型的交互更智能，更具真实感。

在 GPT-4o 的发布会上，有一个细节引人注意：用于演示的手机连接了一根网线。工程师 Mark 解释说，这样做是为了确保网络的稳定性。这也揭示了一个事实，即 GPT-4o 的演示是在固定设备、固定网络和固定物理环境中进行的，以保证低延迟。然而在实际应用中，用户的设备通常不能始终连接网线，最终无论多强的模型能力，都需要依靠 RTC 技术来真正落到实时对话的场景中。而这其中多模态大模型在与 RTC 技术结合时如何保障低延时、流畅的语音交互体验，变得尤为关键。

一句话来说，RTC 是将多模态大模型与实时互动场景连接起来最关键的技术桥梁。而随着 RTC 从最初的一种前沿技术在近年逐渐变成一项基础设施级别的能力并迅速在各个场景中延伸，加入了场景视角的 RTE（实时互动，Real time engagement）概念开始取代 RTC，成为当下谈论实时互动能力新的技术名词。

随着技术的不断进步，实时对话式 AI 的未来充满了无限可能。

RTC 技术的成熟和 RTE 概念的提出，预示着实时互动体验将更加丰富和自然。我们正站在一个新时代的门槛上，一个由 AI 和实时技术共同塑造的新时代。在这个新时代里，无论是企业还是个人，都将能够享受到更加智能、更加人性化的交互体验。随着 OpenAI、微软 Azure、声网等公司的不断探索和创新，我们有理由相信，电影《Her》中的场景不再只是幻想，而是即将成为我们日常生活的一部分。让我们拭目以待，看看这些技术将如何改变我们的世界。