这是新华智云副总裁周劼人的视频片段,请问,视频中的周劼人是真人还是数字人呢?事实上,她是从外形到声音完全由AI制作而成的数字人。
众所周知,数字人已经成为链接数实世界的纽带,也是我们进入元宇宙的关键入口。IDC在《中国AI数字人市场现状与机会分析,2022》报告中预计,到2026年中国AI数字人市场规模将达到102.4亿元。
浪潮之下,依托AI技术驱动的数字人,将成为未来数字人市场的主流。
当下,数字人制作和运营高昂成本,制约了市场规模的扩大和应用落地。如何从建模、驱动、渲染等多方面降低数字人成本,提高制作效率,是目前各行各业入驻元宇宙首要考虑的因素。
随着ChatGPT浪潮掀起,沉寂已久的AI再次成为热门话题,并理所当然地成为了数字人“降本增效”的有利武器。
新华智云是国内较早投身数字人的科技公司之一,2019年便试水数字人,开创了新闻领域实时音频与AI真人形象合成的先河。2020年的地方两会报道中,有7省的两会报道使用新华智云虚拟主播。截至2023年2月,超过500家媒体、政府机构、金融机构、会议会展企业使用新华智云虚拟主播。
得益于多年MGC(机器生产内容)和数字人技术储备,新华智云如今已具备AI全链路生产数字人的能力,AI训练出的数字,不仅外形逼真,类型多元,而且生产速度不断加快,成本日渐降低,应用场景越发全面。
借助AI让各行各业实现“数字人自由”,已成现实。
AI自动生成的不同数字人类型
纵观当今数字人市场,2D仿真类数字人最为常见。前文视频中周劼人数字形象就属于典型2D仿真数字人。仿真,仿真,自然绕不开“真不真”这一关键问题。
2018年,新华社推出全球首个AI合成虚拟主播,经过几年发展,以“华智云”为代表的AI新闻主播、AI金融客服等2D仿真数字人在市场上屡见不鲜,但衡量标准却始终如一——就是一个“真”字。
这几年,国内外各大科技企业都在想方设法地从外形、表情、声音和动作等方面追求极致逼真,以真正实现1:1复刻,或者真人“克隆”。
其中,有企业训练的数字人逼真程度很高,但价格在几十万元到上百万元不等;有的可能省时省力省钱,但训练出的数字人太过机械,逼真度和灵活度都不尽如人意。
新华智云数字人恰恰就居于两者之间,借助AI能力,万元级别的价格,就能达到足以乱真的效果。
新华智云数字人制作平台(移动端)
基于深度学习模型、动作模拟、情感模拟等智能科技,只需采集2-5分钟的真人视频,AI最快训练1小时,即可生成形象逼真、表情到位、口型匹配的数字分身。
相比过去,现在数字人面部精细度更高,发音和口型更精准,肢体动作更自然,而且数据采集时间缩短75%,训练速度更是提高约100倍。
越接近真人外形的数字人,越能提供更亲切、自然、高效的服务体验,让人产生信任。因此,2D仿真类数字人往往适合社交、媒体、金融、电商直播、教育等需要“多交流”“高互动”的场景。数字人可以“扮演”主持人、新闻主播、金融客服、导购员、讲解员、直播博主、老师等角色。在新华智云数字人制作平台中输入文字,一段由数字人播报和讲解的视频,就可以快速生成。
新华智云数字人制作平台(PC端)
此外,接入不同的对话模型(如Chat GPT),数字人还可以实现面对面交流,让人机交互更真实。平台中的换背景、换绿幕等功能,也可以满足不同客户的个性需求。
2D数字人好在逼真,但终究还是“纸片人”。在虚拟偶像“筱竹”“柳夜熙”大行其道的年代,3D写实数字人也是不少场景的新需求。
与制作纯虚拟数字人的企业不同,新华智云将目光聚焦于如何用更“省”成本的方式,打造更“像”的虚实融合型数字人。
新华智云数字人制作平台自动生成的3D写实数字人视频
提供一张真人正面照片,上传到新华智云数字人制作平台,即可生成一个具有真人五官特点的3D写实数字人。新华智云充分发挥AI技术优势,优化数字人生产流程,缩短制作时间,大大降低了数字人制作成本,将原来动辄几十万元的3D写实数字人价格压缩至千元级。
通过算法训练及优化、多模态信息识别等技术,数字人表情、动作更加生动和细腻,可以满足喜怒哀乐等面部表情和其他动作变化需求。如对声音有要求,还可以复刻真实声音。新华智云在控制成本的前提下,一定程度上保证了数字人的相似度。
目前,3D写实数字人主要应用于数字人新闻播报、直播、文旅等场景。
文旅场景-AI生成的3D虚拟古装形象
其中文旅场景的应用以游客扫脸生成3D形象为典型,结合文化数据资源,通过文化挖掘与智能交互等技术,增加了文化的互动性和有趣性,让数字人走入寻常百姓家。2022年深圳文博会上,让游客数字分身入画的“新华智云数字文化互动长卷”,在现场就吸引了不少游客参观体验。
实时显示3D数字人非常“吃”本地硬件性能,一般手机要保持运行流畅,在一个画面中最多同时出现五个3D数字人,这显然无法满足大访问量和多人要求的商业场景。
因此,新华智云推出3D轻量版数字人,正好满足了这方面需求。它可以通过轻量级Web引擎运行,不仅渲染速度快,成本低,而且支持上百人同框畅游,可通用于各种元宇宙空间。
钉钉企业展厅中的数字人
在元宇宙空间,用户可以基于已有的虚拟模板,根据自身喜好“捏出”人物的五官和妆容,借助AI技术,还可以选择虚拟衣着鞋履、虚拟配饰等,创建个性化的虚拟化身。
此外,用户还可以自由操作虚拟化身,在元宇宙空间中自由移动、跳跃,参与元宇宙社区的游览、社交、游戏及其它娱乐活动。新华智云打造的红旗元宇宙社区、钉钉企业展厅等虚拟空间,都配有这类数字人服务,并且设置了相应玩法,带来更好的元宇宙体验。
不久前,刚获5600万美元融资的初创公司Ready player me做的就是这个“生意”。
不过,比Ready player me更“厉害”的是,新华智云3D轻量版数字人还支持真人复刻。只需上传照片,就能生成五官相似的虚拟化身。这意味着在未来元宇宙里,用户将有可能通过辨认数字人的五官来判断每个人的现实角色,这会带来更加沉浸式地元宇宙体验,进一步加强虚拟与现实的连接。
2022年12月,财经大V吴晓波预测“2023年每一家公司都可能需要一个数字人”。2023年初,ChatGPT等语言模型的接入又为数字人注入强大的“AI大脑”。AI数字人的商业价值已日益凸显,并成为各行业打造竞争优势的重要力量。
因此,新华智云将全面开放所有类型的数字人API,只要获得授权许可,就可以接入任何元宇宙平台或语言模型。无论是基于服务场景使用的智能客服、新闻主播等服务型数字人,还是为了营销使用的品牌虚拟IP,都可以通过新华智云数字人能力在元宇宙场景中大放异彩,带来更优质、更便捷的交互体验。
新华智云数字人“小云”与真人进行对话
未来,新华智云AI全链路生产数字人的能力,将提升数字人的制作效率,低成本推动数字人大规模应用落地,为政企事业、品牌、机构创造更大的价值,助力实现数字人自由。