当前位置:首页|资讯|数字人|AIGC

新壹科技亮出视频垂直大模型,支持多模态,24小时训练一个数字人

作者:智东西发布时间:2023-07-27

原标题:新壹科技亮出视频垂直大模型,支持多模态,24小时训练一个数字人

智东西

作者 | 周炎

编辑 | 云鹏

智东西7月27日报道,刚刚,新壹科技发布了国内首款聚焦视频的大模型“新壹视频大模型”,以及AIGC视频生成平台“秒创视频创作平台”,首款基于商用的数字人平台“新壹数字人平台”,此外,还发布了国内首款明星数字人祝福视频制作产品“秒祝”。

其中,“秒创视频创作平台”可以在用户创作内容的过程中提供AI生成服务,其中包括文字续写、文字转语音、文生图、图文转视频等,至此新壹科技的AI生成能力已覆盖文本、图像、音视频等内容模态。

新壹科技CEO雷涛称,AI赋能视频生产,进一步降低了视频生产门槛,用户可以更方便快捷地生产更高质量的视频,这样更多人参与到视频创作中,视频行业的格局或将再度改变。

一、具备多模态感知、实时学习等核心能力,“秒创”几分钟内生成科普视频

新壹科技发布的新壹视频大模型,基于深度学习海量视频样本,具有从脚本生成、素材匹配、智能剪辑配音到数字人播报的AI全流程视频生产能力,有助于让用户实现高质量、高效率、低成本、无门槛视频创作。

▲新壹科技创始人、董事长韩坤发布会现场发表演讲

新壹视频大模型具备多模态感知、实时学习、自迭代及多场景交叉推理的核心能力。能够处理多模态的输入信息,可以理解文字的含义,识别图像的内容,感知音乐的情绪,基于对内容深度准确的理解,生成视频。

新壹视频大模型采用了自监督学习方案,会观察和学习大量的视频数据,通过分析视频的结构、内容、风格等多个维度,自我理解和把握视频制作的规则和逻辑。

新壹视频大模型能跨场景进行知识迁移与关联,选择合适素材,调整视频风格,生成满足创作者需求且质量高的视频;其可面向行业级的垂直场景对新壹视频大模型做定向训练,以提供更加精准、专业的服务。

秒创是基于新壹科技视频大模型的AI内容生成平台,该平台提供了图片生成、视频生成、声音生成、数字人生成等AIGC功能,以及千万级的结构化视频库。通过秒创平台,创作者可以把一篇文章甚至是一个想法制作为视频,而且从文案到视频成品时间仅为5分钟。

▲新壹科技CEO雷涛发布会现场对相关产品进行演示讲解

二、24小时完成数字人训练,3D数字人未来将成为人人标配

新壹科技的数字人平台通过多模态合成AI技术,可以将真人录制的视频和音频素材生成2D写实数字人,同时该平台在24内小时可以完成一个数字人的训练。

该数字人平台融合通用语言模型、音视频生成技术,能够低成本的生成真人播报视频和直播,有助于降低真人出镜门槛。此外新壹数字人平台还可以驱动3D数字人形象。

新壹科技发布的最后一款应用为明星数字人祝福视频制作产品——秒祝。秒祝通过对明星视频进行训练,将明星的形象和声音还原出来,生成对应的明星数字人形象。最终呈现给客户的是以明星数字人为主角的个性化定制祝福视频。

结语:20年视频行业积累经验,未来AIGC业务将在垂直场景落地

在过去将近20年的时间里,新壹科技一直从事视频相关领域,并培养了一支代码技术过硬的工程师团队。

目前,新壹科技的AI生成能力已覆盖文本、图像、音视频等内容模态,已经实现从大模型到平台服务再到产品服务落地的AIGC业务全链路打通。未来,新壹科技将推出政府政务、金融保险、适老养老、智能交互数字人以及游戏等垂直场景服务。


Copyright © 2024 aigcdaily.cn  北京智识时代科技有限公司  版权所有  京ICP备2023006237号-1