当前位置:首页|资讯|科大讯飞|AIGC

科大讯飞高建清:「底座+能力+应用」是科大讯飞AIGC整体布局的三层架构

作者:量子位发布时间:2023-04-27

原标题:科大讯飞高建清:「底座+能力+应用」是科大讯飞AIGC整体布局的三层架构

明敏 整理自 凹非寺

量子位 | 公众号 QbitAI

ChatGPT掀起AIGC浪潮后,关于它的影响,成为了行业内外最为热议的话题之一。

宏观的观点已不胜枚举:改变世界、AI的iPhone时刻……

但如果回归到技术本质,它到底会带来哪些变革?

我们认为,它会改变信息分发获取的模式。革新内容生产模式,变革人机交互模式,同时也会促进多个产业的升级。

这是科大讯飞AI研究院常务副院长高建清,在首届中国AIGC产业峰会上给出的答案。

作为国产AI的中坚力量,在这股最新趋势下,科大讯飞始终被寄予厚望。

尤其在2月初,他们率先给出类ChatGPT技术与产品跟进情况及定档时间,更是把行业内外的期待值拉满了。

具体如何?还得5月6日见分晓。

但提前剧透已经来了。

在首届中国AIGC峰会现场,在语音识别、语音合成、自然语言理解等领域拥有深厚积累和成果的科大讯飞AI研究院常务副院长高建清,分享了科大讯飞对于AIGC趋势的理解、技术进展、产品应用,以及认知智能大模型相关思考等内容。

为了完整体现他的思考,在不改变原意的基础上,量子位对其演讲内容进行了编辑整理,以飨读者。

中国 AIGC 产业峰会是由量子位主办的行业峰会,近 20 位产业代表与会讨论。线下参与观众 600+,线上收看观众近 300 万,得到了包括 CCTV2、BTV 等在内的数十家媒体的广泛报道关注。

演讲要点

  • “底座+能力+应用”是科大讯飞AIGC整体布局的三层架构。
  • 语音合成将会向着交互更加拟人化、情感化、口语化的方向发展,并且要控制好音色、音律、口音等语义信息。
  • ChatGPT引发的创新,让AI在逻辑推理、多角色、多风格文本生成上都有了巨大进步。
  • 大模型会改变信息分发获取的模式,并给内容生产模式、人机交互带来变革。

以下为高建清演讲全文:

音频创作也会向大模型方向发展

非常荣幸能有这样的机会和大家分享科大讯飞在AIGC方面的技术探索与应用创新方面的一些进展。

如下是科大讯飞在整个AIGC领域的布局情况。

科大讯飞在AIGC的三大模块:音频创作视觉创作文本创作,都有一些自己的理解和进展。

在音频创作方面,讯飞是一家以语音起家的公司,我们在音频创作方面有语音合成的全栈能力;在视觉创作方面,积累了以虚拟人为核心的完整视频创作能力;在文本生成方面,讯飞这些年主要围绕行业应用做了很多工作。

今天将主要围绕这三个方面展开介绍。

首先看一下音频创作

在这一领域,我们认为最重要的技术之一是语音合成

现阶段,播报式的语音合成已经接近或达到真人水平,接下来的发展趋势是什么?

我们认为,首要的发展趋势是如何在交互领域实现更好的拟人化、情感化以及口语化,总之让它更像真人。

另外,在内容生产领域,如何更好控制音色、音律、口音等语音里最重要的语义信息,也是一个重要的发展方向。

这两年我们也在这些领域有了一些进展。

首先是虚拟声音自动创作方面。

语音合成里,和声音相关的两个最主要元素:

  • 第一是音色
  • 第二是韵律信息

我们对这两部分进行显示建模,这样当你给系统输入一个人设时,比如青年甜美的女声,就可以生成对应的音色。

目前我们通过这一技术已经虚拟生成了500个声音,并在讯飞开放平台上开放。在满分为5.0MOS分的情况下,我们生成的声音超过4.0MOS分,已经达到了可用的阶段,有了这种虚拟生成声音的方式,大家可以选择生成喜欢的一些声音。

第二方面,怎样向多情感、多风格方面拓展?

去年,科大讯飞发布了全新的语音合成系统,即多情感多风格SMART-TTS系统。

这是一个端到端的方案,输入文本直接得到语音输出。其中有三个关键模块,第一是跨模态预训练,第二是韵律预训练,第三是声学预训练。三部分各司其职。

第一个模块可以提高语音合成中韵律的自然度;第二个模块是一个中间模块;最后一个模块可以提高声音整体的音质。

通过这样一个系统合成的声音,和专业声音演员录音水平的差距0.05MOS,已经取得了非常好的进展。

MOS是Mean Opnion Score的缩写,译为平均意见得分,是音频质量主观评估方法的一种。在语音合成领域,常见的有自然度MOS(MOS of naturalness),相似度MOS(MOS of similarity)。

在这个系统中,我们还拓展了多个风格。

以往大家熟悉的语音合成主要用于播报、交互等领域,现在我们可以支持纪录片、游戏解说、广告直播等十多个领域。

同时,语音的情感能得到控制,SMART-TTS提供11种情感,每个情感有20档调节能力。我们发现,停顿、重音、语速等关键属性对于声音的表现力非常重要,这些也可以进行调节。我们也将这些能力开放给开发者,让大家都能创造并得到想要的声音。

下面是一个简单的demo,其中有各种不同风格的声音。

以下视频来源于

科大讯飞研究院

已关注

关注

重播分享

关闭

观看更多

更多

正在加载

    正在加载

    退出全屏

    视频加载失败,请刷新页面再试

    刷新

    视频详情

    还有通过声音合成制作的二十四节气纪录片。

    已关注

    关注

    重播分享

    关闭

    观看更多

    更多

    正在加载

      正在加载

      退出全屏

      视频加载失败,请刷新页面再试

      刷新

      视频详情

      可以看到,近年来声音合成已经不是传统意义上的播报、机器风格,已经向多感情、更多场景去拓展。

      接下来音频创作会向什么方向发展?

      我们认为有两个大方向:

      第一,大家今天谈论最多的是大语言模型。在声音领域,大语言模型也是一个重要方向,ChatGPT给声音创作领域带了很多启示。

      如果我们用Audio大语言模型方案,有可能对语音合成中的一些关键因素,比如口音、韵律等特征,进行很好的控制。

      另外就是声音艺术。其实现在追求不仅是声音能够表达意思,而是怎样能从自然可懂到悦耳享受。比如在声音中插入音效、环境音,会对整个语音合成的感受有很大改善。

      5月发布大模型新成果

      接下来来看第二部分,即科大讯飞在视觉创作方面的一些进展。

      在虚拟人多模态合成方面,科大讯飞从2018年首发多语种虚拟人口唇驱动,2021年发布了2D真人捏脸系统。目前已经形成了3D虚拟口唇表情和动作的AI驱动到AI贯穿3D形象构建的全流程。

      首先看一下虚拟人领域的关键技术——动作生成

      众所周知肢体语言对虚拟人来说非常关键,业界传统方法是采用动作库。

      要知道,动作生成和两个因素有很大关系:

      • 第一是语音发音中的韵律节奏
      • 第二是动作意图

      针对这两部分进行建模,能够很好实现动作合成,讯飞研究院提出的语义驱动虚拟人动作技术,在虚拟人动作的拟人度和契合度方面,都较传统方案有很大改善,从2.63分提升到3.75分左右。

      第二个方面也一样,我们希望实现语音可控的半身数字人像生成。

      通过文本语义约束的人像语义空间构建、基于扩散模型的人像语义向量生成两个阶段,输入一个人设,就能动态生成下图右边这些图像。这些图像是半身数字人的形象。

      最后一个虚拟人的关键因素就是3D虚拟人的动态生成

      近两年科大讯飞研究院打造了个性化3D虚拟人复刻系统,实现了基于一张图片、一段语音就能驱动3D虚拟人,同时还支持3D虚拟人发型、眼睛、嘴型进行动态二次编辑。

      在这些虚拟人技术的基础上,我们在产品方面也有一些探索。

      讯飞音乐发布了AI虚拟歌手Luya,通过上述所说的音色创作技术,给这个虚拟歌手赋予了一定声音的能力。通过AI变声以及歌曲合成,现在TA已经发布了十多首歌曲,其中一些歌曲也得到了大众的喜爱。

      那么问题来了,虚拟人未来的发展趋势是什么?

      首先我们认为,现在虚拟人制作过程中还有很多人工环节,如果把AI能力融合进去的话,全流程加入AI会解决很多问题。

      另外AIGC这一两年的发展速度非常迅猛,从文本到声音到图像,这些全栈能力的集合,让我们觉得可以形成以虚拟人为中心的全栈视觉生成能力。

      接下来,再看一下科大讯飞在AIGC方面产品创新的一些探索。

      首先是我们推出了讯飞智作APP,这个APP结合了以上很多AIGC能力,希望能够打造一个音视频内容的AI创作基地,这里有一个简单的demo:

      已关注

      关注

      重播分享

      关闭

      观看更多

      更多

      正在加载

        正在加载

        退出全屏

        视频加载失败,请刷新页面再试

        刷新

        视频详情

        第二个是讯飞音乐的词曲家平台。

        通过AI的辅助作词作曲,可以帮助创作者提高生产力。通过歌曲试音及质量分析,能够使采买人和音乐人之间的沟通变得更加顺畅。

        最后再简单介绍一下科大讯飞在文本生成方面的思考。

        关于文本生成,我们在教育、医疗等行业应用上做了很多工作。过往的一些进展今天不做过多赘述,主要分享一下我们在大模型基础能力上的一些理解和布局。

        首先,ChatGPT基于所谓大语言模型,正是因为模型数据量巨大,使得它对信息记忆非常完整。

        第二个是它范式上的最大变化,是将以往NLP里面每一个任务进行单独建模,ChatGPT是典型多任务的对话式理解的建模,正是因为它对多任务同时建模,使得模型在底层的语义理解能力极大增强;

        另外,它采用学习的方法,能够将人类反馈非常好地融入到模型中。

        正是这几方面创新,让AI在逻辑推理、多角色、多风格文本生成等方面都有了很大进步。

        同时,大模型也会给产业带来非常大变革。

        我们认为它会改变信息分发、获取模式,首先会给搜索引擎带来非常大的影响,其次也会给内容生产模式带来革新;第三对于人机交互会产生一个大变革。

        在这个趋势下,科大讯飞在大模型方面也在开展一些工作。主要会基于我们对自身所在领域的理解,包括场景、数据、场景中的行为等方面,以及在教育、医疗、人机交互、办公这些方向。

        之前讯飞研究院也在认知智能大模型上有一定积累和探索,5月6日我们也将有新的发布,敬请大家期待!

        《中国AIGC算力产业全景报告》征集倒计时

        AIGC算力需求爆发,谁将在此次算力产业变革中脱颖而出?

        量子位《中国AIGC算力产业全景报告》《最值得关注的AIGC算力玩家》征集即将截止,欢迎更多优秀的机构、产品、技术案例与我们联络 ~

        点这里👇关注我,记得标星哦~

        一键三连「分享」、「点赞」和「在看」

        科技前沿进展日日相见 ~


        Copyright © 2024 aigcdaily.cn  北京智识时代科技有限公司  版权所有  京ICP备2023006237号-1