科大讯飞高建清：「底座+能力+应用」是科大讯飞AIGC整体布局的三层架构
明敏 整理自 凹非寺
量子位 | 公众号 QbitAI
ChatGPT掀起AIGC浪潮后，关于它的影响，成为了行业内外最为热议的话题之一。
宏观的观点已不胜枚举：改变世界、AI的iPhone时刻……
但如果回归到技术本质，它到底会带来哪些变革？
我们认为，它会改变信息分发获取的模式。革新内容生产模式，变革人机交互模式，同时也会促进多个产业的升级。
这是科大讯飞AI研究院常务副院长高建清，在首届中国AIGC产业峰会上给出的答案。
作为国产AI的中坚力量，在这股最新趋势下，科大讯飞始终被寄予厚望。
尤其在2月初，他们率先给出类ChatGPT技术与产品跟进情况及定档时间，更是把行业内外的期待值拉满了。
具体如何？还得5月6日见分晓。
但提前剧透已经来了。
在首届中国AIGC峰会现场，在语音识别、语音合成、自然语言理解等领域拥有深厚积累和成果的科大讯飞AI研究院常务副院长高建清，分享了科大讯飞对于AIGC趋势的理解、技术进展、产品应用，以及认知智能大模型相关思考等内容。
为了完整体现他的思考，在不改变原意的基础上，量子位对其演讲内容进行了编辑整理，以飨读者。
中国 AIGC 产业峰会是由量子位主办的行业峰会，近 20 位产业代表与会讨论。线下参与观众 600+，线上收看观众近 300 万，得到了包括 CCTV2、BTV 等在内的数十家媒体的广泛报道关注。
演讲要点
- “底座+能力+应用”是科大讯飞AIGC整体布局的三层架构。
- 语音合成将会向着交互更加拟人化、情感化、口语化的方向发展，并且要控制好音色、音律、口音等语义信息。
- ChatGPT引发的创新，让AI在逻辑推理、多角色、多风格文本生成上都有了巨大进步。
- 大模型会改变信息分发获取的模式，并给内容生产模式、人机交互带来变革。
以下为高建清演讲全文：
音频创作也会向大模型方向发展
非常荣幸能有这样的机会和大家分享科大讯飞在AIGC方面的技术探索与应用创新方面的一些进展。
如下是科大讯飞在整个AIGC领域的布局情况。
科大讯飞在AIGC的三大模块：音频创作、视觉创作和文本创作，都有一些自己的理解和进展。
在音频创作方面，讯飞是一家以语音起家的公司，我们在音频创作方面有语音合成的全栈能力；在视觉创作方面，积累了以虚拟人为核心的完整视频创作能力；在文本生成方面，讯飞这些年主要围绕行业应用做了很多工作。
今天将主要围绕这三个方面展开介绍。
首先看一下音频创作。
在这一领域，我们认为最重要的技术之一是语音合成。
现阶段，播报式的语音合成已经接近或达到真人水平，接下来的发展趋势是什么？
我们认为，首要的发展趋势是如何在交互领域实现更好的拟人化、情感化以及口语化，总之让它更像真人。
另外，在内容生产领域，如何更好控制音色、音律、口音等语音里最重要的语义信息，也是一个重要的发展方向。
这两年我们也在这些领域有了一些进展。
首先是虚拟声音自动创作方面。
语音合成里，和声音相关的两个最主要元素：
- 第一是音色
- 第二是韵律信息
我们对这两部分进行显示建模，这样当你给系统输入一个人设时，比如青年甜美的女声，就可以生成对应的音色。
目前我们通过这一技术已经虚拟生成了500个声音，并在讯飞开放平台上开放。在满分为5.0MOS分的情况下，我们生成的声音超过4.0MOS分，已经达到了可用的阶段，有了这种虚拟生成声音的方式，大家可以选择生成喜欢的一些声音。
第二方面，怎样向多情感、多风格方面拓展？
去年，科大讯飞发布了全新的语音合成系统，即多情感多风格SMART-TTS系统。
这是一个端到端的方案，输入文本直接得到语音输出。其中有三个关键模块，第一是跨模态预训练，第二是韵律预训练，第三是声学预训练。三部分各司其职。
第一个模块可以提高语音合成中韵律的自然度；第二个模块是一个中间模块；最后一个模块可以提高声音整体的音质。
通过这样一个系统合成的声音，和专业声音演员录音水平的差距0.05MOS，已经取得了非常好的进展。
MOS是Mean Opnion Score的缩写，译为平均意见得分，是音频质量主观评估方法的一种。在语音合成领域，常见的有自然度MOS(MOS of naturalness)，相似度MOS(MOS of similarity)。
在这个系统中，我们还拓展了多个风格。
以往大家熟悉的语音合成主要用于播报、交互等领域，现在我们可以支持纪录片、游戏解说、广告直播等十多个领域。
同时，语音的情感能得到控制，SMART-TTS提供11种情感，每个情感有20档调节能力。我们发现，停顿、重音、语速等关键属性对于声音的表现力非常重要，这些也可以进行调节。我们也将这些能力开放给开发者，让大家都能创造并得到想要的声音。
下面是一个简单的demo，其中有各种不同风格的声音。
以下视频来源于
科大讯飞研究院
已关注
关注
重播分享赞
关闭
观看更多
更多
正在加载
正在加载
退出全屏
视频加载失败，请刷新页面再试
刷新
视频详情
还有通过声音合成制作的二十四节气纪录片。
已关注
关注
重播分享赞
关闭
观看更多
更多
正在加载
正在加载
退出全屏
视频加载失败，请刷新页面再试
刷新
视频详情
可以看到，近年来声音合成已经不是传统意义上的播报、机器风格，已经向多感情、更多场景去拓展。
接下来音频创作会向什么方向发展？
我们认为有两个大方向：
第一，大家今天谈论最多的是大语言模型。在声音领域，大语言模型也是一个重要方向，ChatGPT给声音创作领域带了很多启示。
如果我们用Audio大语言模型方案，有可能对语音合成中的一些关键因素，比如口音、韵律等特征，进行很好的控制。
另外就是声音艺术。其实现在追求的不仅是声音能够表达意思，而是怎样能从自然可懂到悦耳享受。比如在声音中插入音效、环境音，会对整个语音合成的感受有很大改善。
5月发布大模型新成果
接下来来看第二部分，即科大讯飞在视觉创作方面的一些进展。
在虚拟人多模态合成方面，科大讯飞从2018年首发多语种虚拟人口唇驱动，2021年发布了2D真人捏脸系统。目前已经形成了3D虚拟口唇表情和动作的AI驱动到AI贯穿3D形象构建的全流程。
首先看一下虚拟人领域的关键技术——动作生成。
众所周知肢体语言对虚拟人来说非常关键，业界传统方法是采用动作库。
要知道，动作生成和两个因素有很大关系：
- 第一是语音发音中的韵律节奏
- 第二是动作意图
针对这两部分进行建模，能够很好实现动作合成，讯飞研究院提出的语义驱动虚拟人动作技术，在虚拟人动作的拟人度和契合度方面，都较传统方案有很大改善，从2.63分提升到3.75分左右。
第二个方面也一样，我们希望实现语音可控的半身数字人像生成。
通过文本语义约束的人像语义空间构建、基于扩散模型的人像语义向量生成两个阶段，输入一个人设，就能动态生成下图右边这些图像。这些图像是半身数字人的形象。
最后一个虚拟人的关键因素就是3D虚拟人的动态生成。
近两年科大讯飞研究院打造了个性化3D虚拟人复刻系统，实现了基于一张图片、一段语音就能驱动3D虚拟人，同时还支持3D虚拟人发型、眼睛、嘴型进行动态二次编辑。
在这些虚拟人技术的基础上，我们在产品方面也有一些探索。
讯飞音乐发布了AI虚拟歌手Luya，通过上述所说的音色创作技术，给这个虚拟歌手赋予了一定声音的能力。通过AI变声以及歌曲合成，现在TA已经发布了十多首歌曲，其中一些歌曲也得到了大众的喜爱。
那么问题来了，虚拟人未来的发展趋势是什么？
首先我们认为，现在虚拟人制作过程中还有很多人工环节，如果把AI能力融合进去的话，全流程加入AI会解决很多问题。
另外AIGC这一两年的发展速度非常迅猛，从文本到声音到图像，这些全栈能力的集合，让我们觉得可以形成以虚拟人为中心的全栈视觉生成能力。
接下来，再看一下科大讯飞在AIGC方面产品创新的一些探索。
首先是我们推出了讯飞智作APP，这个APP结合了以上很多AIGC能力，希望能够打造一个音视频内容的AI创作基地，这里有一个简单的demo：
已关注
关注
重播分享赞
关闭
观看更多
更多
正在加载
正在加载
退出全屏
视频加载失败，请刷新页面再试
刷新
视频详情
第二个是讯飞音乐的词曲家平台。
通过AI的辅助作词作曲，可以帮助创作者提高生产力。通过歌曲试音及质量分析，能够使采买人和音乐人之间的沟通变得更加顺畅。
最后再简单介绍一下科大讯飞在文本生成方面的思考。
关于文本生成，我们在教育、医疗等行业应用上做了很多工作。过往的一些进展今天不做过多赘述，主要分享一下我们在大模型基础能力上的一些理解和布局。
首先，ChatGPT基于所谓大语言模型，正是因为模型数据量巨大，使得它对信息记忆非常完整。
第二个是它范式上的最大变化，是将以往NLP里面每一个任务进行单独建模，ChatGPT是典型多任务的对话式理解的建模，正是因为它对多任务同时建模，使得模型在底层的语义理解能力极大增强；
另外，它采用学习的方法，能够将人类反馈非常好地融入到模型中。
正是这几方面创新，让AI在逻辑推理、多角色、多风格文本生成等方面都有了很大进步。
同时，大模型也会给产业带来非常大变革。
我们认为它会改变信息分发、获取模式，首先会给搜索引擎带来非常大的影响，其次也会给内容生产模式带来革新；第三对于人机交互会产生一个大变革。
在这个趋势下，科大讯飞在大模型方面也在开展一些工作。主要会基于我们对自身所在领域的理解，包括场景、数据、场景中的行为等方面，以及在教育、医疗、人机交互、办公这些方向。
之前讯飞研究院也在认知智能大模型上有一定积累和探索，5月6日我们也将有新的发布，敬请大家期待！
— 完—
《中国AIGC算力产业全景报告》征集倒计时
AIGC算力需求爆发，谁将在此次算力产业变革中脱颖而出？
量子位《中国AIGC算力产业全景报告》和《最值得关注的AIGC算力玩家》征集即将截止，欢迎更多优秀的机构、产品、技术案例与我们联络 ~
点这里👇关注我，记得标星哦～
一键三连「分享」、「点赞」和「在看」
科技前沿进展日日相见 ~