商汤如影AI随形，打造高质量、低门槛的数字人视频生成平台
2023-05-15 17:21:32 作者：宋均益
随着移动互联网的普及,视频已经成为人与人互动交流、品牌开展营销活动的重要媒介。但无论是短视频的制作还是视频直播,都需要在内容策划和拍摄、剪辑等环节消耗大量资源和精力。如今,在AI大模型的技术革新下,AI数字人视频生成技术成为降低视频创作成本,突破质量和效率天花板的有效路径。
前不久,商汤科技公布了其自主研发的“日日新SenseNova”大模型体系,并推出基于该体系下的“商汤如影SenseAvatar”AI数字人视频生成平台。该平台基于AI数字人视频生成算法、语言大模型、AI文生图、AIGC等多种能力,能够轻松实现高质量、高效率的数字人视频内容创作,推动视频内容创作的范式革新。
如影数字人生成方案只需一次真人素材录入,就能生成超写实的数字分身,实现视频制作效率的指数级提升。作为全栈式的AI数字人视频生成平台,“如影”平台旨在帮助企业和个人轻松开展数字人短视频、直播等内容创作,同时也可为教育培训、企业宣传,娱乐文化等领域提供视频解决方案,提高品牌知名度和用户粘性。
大模型+大算力,让数字人生成效果好、速度快
“大模型”和“大算力”是实现高质量、高效率数字人生成的核心驱动力。在商汤“日日新SenseNova”大模型体系和AI大装置SenseCore的支持下,“如影”平台在生成效率和效果方面双双突破,引领行业前沿。
出众的生成效果源于大模型强大的数据学习能力。通过对海量真人基础数据的有效学习,“如影”平台生成的数字人外貌更真实、动作表情更自然,对输入的素材也更加鲁棒。其中真人相似度高达90%~95%,口型匹配度可达95%,远超业界平均水平。大模型更强的泛化能力,也让“如影”平台能够更好地支持不同类型、不同风格的数字人生成,并覆盖更多种语言。
高效的生成速度则依托全自动化的处理流程和AI大装置强大的算力利用能力。通过打通从上传视频、处理数据、训练模型、转换模型到模型部署的自动化闭环,“如影”平台可将传统视频制作流程中的人工处理时间大幅减少90%,模型训练时间减少60%,只需1天,即能完成各类定制数字人训练。结合商汤AI大装置SenseCore的强大算力和并发处理效率,平台更可以做到数字人的批量生产,同时满足不同客户的定制化需求。
依托大模型和大算力,无论是2D数字人还是3D数字人的视频生成,“如影”平台均能够为客户提供低门槛的创作工具,赋能客户将质量、效率发挥到极致。
仅需5分钟真人视频,就能打造超写实2D数字分身
2D数字人如同用户的数字分身,可以代替真人出镜开展视频创作,实现效率跃迁。基于强大领先的AI生成能力和便捷易用的使用体验,“如影”平台仅需一段5分钟手机拍摄的真人视频素材,就能生成动作、表情、口型都能如真人一般自然逼真,且多语种精通的数字分身。平台还打通了从文生文、文生视频的整个流程,通过文字驱动,即可自由无门槛地开展各类视频内容制作。
以文案创作为例,用户只需要输入粗略想法,平台就会自动生成相关视频文案。从换装到换背景,素材选择同样灵活自由。用户不仅可以使用平台内置的丰富的已有素材或上传自己的素材,还可以借助平台的AI文生图能力,给定相应的提示词,生成“脑中所想”的其他素材,并直接应用于视频创作。
对于有跨国交流需求的用户,“如影”平台还支持多语言文本生成及多语言语音合成,涵盖超过100个国家和地区。用户通过简单操作,就可直接将生成好的视频切换成不同语言版本,发音、口型自动匹配,轻松完成“本土化”内容创作。
创建鲜活饱满的3D数字人
3D数字人虚拟主播或“虚拟IP”,有着更灵活广泛的使用场景,但制作成本更高。
和现实世界的交互,不仅需要一颗聪明的大脑来生成可靠的文字,还需要通过灵动自然、语义契合的动作,来增加3D数字人的表现力和感染力。
基于商汤原创OpenXRLab扩展现实平台的领先算法,打造了一套多模态的动作生成解决方案,无需专业设备进行动捕,就能够根据文字语义和声音韵律生成风格多样、语义准确、长时间自然连贯的表情和动作。
得益于全栈生成式AI能力,让用户轻松开启直播之旅。基于商汤的语言大模型,针对直播带货场景进行了优化,可以根据产品内容快速生成多风格的带货文本,配合多风格的声音及动作生成,让你一键拥有百变主播。借助商汤大模型的精细化3D物件生成能力和文生图大模型,数字人的交互能力和直播场景中的内容元素亦可持续拓展。
直播过程中,数字人还可以自主完成带货、粉丝互动、疑难解答等实时交互,以更低的运营成本实现24小时直播运营,全天候触达用户。
除视频、直播场景外,数字人也可广泛适用于文旅、展馆、金融、教育、商超等各类线下场景,提供多样化服务。在今年上海车展期间,商汤展示了数字人在车舱场景的应用,既能自动提炼邮件关键信息,还会整理会议纪要,是一位智能有温度的绝佳行车伴侣。
在推动AI数字人视频生成技术创新和应用的过程中,商汤还致力于打造“可信数字人”,在可信原则的指导下推动虚拟人市场健康、可持续、高质量发展。每个在“如影”平台创作的数字人,都经过了严格的可信认证,确保其不被盗用或篡改。同时,由中国信通院牵头,商汤科技参编的《可信虚拟人生成内容管理系统技术要求》已完成立项,将于年内出台团体标准,推动可信数字人行业标准建立,让数字人生成内容与真人意愿不“脱钩”,数字人产业快速发展不从监管“脱缰”,肖像权、所有权与现实约束不“脱节”。
目前,“如影SenseAvatar”平台已面向多家企业开放服务,帮助各行各业突破原有内容制作模式的瓶颈,打破内容创意的天花板,让更易用、更智能的数字人生成技术,成为智能时代的全新生产力工具。