2月17日,openAI公司发布的首款文生视频的人工智能大模型sora给人工智能市场投下了一枚重磅炸弹,文生视频这一技术模式受到广泛的关注和讨论。
近日,国内的文生视频技术模式相关专利亮相公开。2月23日,天眼查专利信息显示,百度文生视频专利获得授权,其专利可以根据文本内容生成视频。百度申请的该专利名称为“视频生成方法、装置、电子设备和存储介质”专利,摘要显示,本公开涉及人工智能技术领域,尤其涉及增强现实、虚拟现实、计算机视觉、深度学习等技术领域,可应用于元宇宙、虚拟数字人等场景下。具体实现方案为:响应于接收到目标文本,根据与其相关的多个初始时间信息,确定与至少一个目标动作标签文本分别对应的至少一个第一目标时间信息,其中,目标文本是利用至少一个目标动作标签文本处理初始文本得到的,目标动作标签文本与预设动作对应;根据至少一个第一目标时间信息,对目标虚拟形象进行渲染,得到至少一个第一视频片段,其中,第一视频片段与预设动作对应;根据至少一个第一视频片段,生成目标视频。相关专利自2022年11月30日提交申请,2023年4月7日申请公布,预估将于2042年11月30日到期。
除百度外,清华大学也公开了一个文生视频专利。2月20日,国家知识产权局网站公告显示,清华大学申请的一种定制化多主体文生视频方法、装置、设备及介质”专利公布,发明人为王鑫;朱文武;陈虹。摘要显示,该申请涉及神经网络技术领域,通过多种损失对文生视频模型的参数进行优化,使优化的模型基于文本描述生成视频中的图像时,文本描述与定制化主体保持一致,且在每个主体在生成过程中的特征不会发生混淆的同时消除合成痕迹。
Sora公布不过短短一周不到的时间,文生视频的技术应用和相关内容产品已经铺天盖地,就在23日,央视频发布消息,中国首部文生视频AI系列动画片《千秋诗颂》启播暨中央广播电视总台人工智能工作室揭牌仪式将在23日举行。官网介绍《千秋诗颂》面向小学生,是小学语文课本诗词动画故事系列片。
文生视频技术是人工生成式AI技术应用的重大突破,也极有可能成为对传媒相关领域产生重大影响的技术,当下国内外科技公司密切关注并投入研发,人工智能领域巨头基本上都在致力于开发文生视频相关产品模型和应用。目前我们所使用的、能见到的比较成熟的、落地的文生视频模型诸如Runway、Pika包括近期热度极高的sora,都是海外科技公司的产品,国内的科技公司所研发的文生视频专利将会给我们带来怎样的人工智能大模型令人期待。
扬子晚报|紫牛新闻记者 沈昭
校对 徐珩