当前位置:首页|资讯|OpenAI|AIGC

预见·科技 | OpenAI发布AI文生视频工具 只“动嘴”就能做出60秒视频

作者:封面新闻发布时间:2024-02-16

预见·科技 | OpenAI发布AI文生视频工具 只“动嘴”就能做出60秒视频

封面新闻记者 欧阳宏宇

今天凌晨,AIGC文生视频赛道又添一重磅产品。

2月16日凌晨,OpenAI发布旗下首个文生视频模型Sora。据介绍,该大模型可以直接输出长达60秒的视频,并且包含高度细致的背景、复杂的多角度镜头,以及富有情感的多个角色。

根据该产品官网上已更新的视频demo,Sora不仅能准确呈现细节,还能在一定程度上还原物体在物理世界中的存在,并生成具有丰富情感的角色。甚至可以根据提示填补原有视频中缺失的画面。

借助AI技术,用户无需技巧就可以天马行空地制作视频。在谷歌、Meta、阿里云、百度之后,OpenAI凭借Sora正式切入文生视频赛道,输出视频的时长与质量进一步提高,标志着AIGC视频时代正加速到来。有不少网友评价说,“这么强的吗?以后有视频也未必是真相了”。

一句话生成60秒视频

现实将被彻底颠覆

喜迎龙年春节,紧跟舞龙队伍掏出手机边跟边拍的人群;雨后东京街头,一位时髦的女士穿梭在充满温暖霓虹灯光和动感城市标志的街道上;城市轻轨穿越市区,车内的人物面朝窗外摆弄着手机……难以想象这些都是通过AI生成出来的视频。

根据官网介绍,OpenAI正在教AI理解和模拟运动中的物理世界,目标是训练模型来帮助人们解决需要现实世界交互的问题。据官方公告描述,Sora是OpenAI在语言和图像生成领域先前工作的基础上发展而来的。该产品不仅能够理解详细的提示,还能通过动作和视觉叙事重新创造出物理世界的动态。在效果上,Sora引入了流动感和连贯性,能够在不同镜头之间无缝过渡,同时保持上下文和对原始文本提示的保真度。

仔细观看demo视频可以发现,其中充满了细节:跟紧舞龙队伍的海量人物各有各的行为;雨后街头,潮湿地面反射出堪比真实世界的光影效果;行驶中的窗外偶遇遮挡时,车内人物倒影在玻璃上真实地显现……而这些细节的呈现在原始文本中是没有的。

Sora是如何实现文生视频的呢?据介绍,该大模型使用了扩散模型的技术,它可以从类似于静态噪声的视频开始,通过AI逐渐去除噪声,把各种随机像素转化为一段清晰的场景。由于该大模型建立在Transformer架构上,而这一架构又以极强的扩展性著称,所以其能够把较小数据单位的视频和图像标记(Token),通过统一的数据表达方式,在更广泛的视觉数据上训练和扩散变化。这使得Sora能够处理各种持续时间、分辨率和纵横比的视频数据。

基于这一技术,Sora还可以在单个视频中创建多个镜头,并依靠对语言的深入理解准确地解释提示词,保留角色和视觉风格。

不过,OpenAI也透露,Sora还并不完善,目前它还难以准确模拟复杂场景的物理原理,并且可能无法理解因果关系。比如,视频中,篮球没有正确被篮筐阻挡。

赛道保持快速发展趋势

AI文生视频渐成风口

事实上,AI文生视频并不算一个新鲜事物。

在Sora出现之前,谷歌的Imagen和Meta的“做个视频(Make-A-Video)”已经发布了相当长一段时间。就在上月底,谷歌还新发布了AI视频大模型Lumiere,该大模型同样可以通过联合空间和时间采样来实现生成,并且也显著增加了生成视频的持续时长和质量,甚至可以将静止图像转换为动态视频。

中国造AI大模型同样早已在文生视频赛道早早布局。去年3月,阿里达摩院就放出了“文本生成视频大模型”,并在开源模型平台上对外测试。百度文心一言则在正式发布的支持多模态文本生成视频能力基础上,在去年8月又上线了文本转视频原生插件。

不过,这些AI大模型生成的视频与Sora相比还有一定差距,一方面是体现在持续时长上,绝大多数视频时长还在4-10秒左右,其连贯性也有所不足。另一方面是镜头的组合,绝大多数视频都是单镜头;而Sora已实现了在一个视频里面,多角度镜头的组合。例如,在剪影动画中,视频从一只狼对着月亮嚎叫,直到它找到狼群,切换了不同景别的多个镜头。

AI文生视频工具逐步增强,也难怪有网友表示,“图生视频的公司感觉要被冲击了”。国盛证券研报指出,AI视频的放量也将会改变目前如电商直播、产品广告、影视制作等多个行业的生态,下游应用的加速时刻也将到来。

“AI文生视频、图生视频等赛道将会继续保持快速发展的趋势。”资深人工智能专家郭涛分析称,未来一两年内,AI生成视频领域将会出现更多的创新和突破,包括更加智能的视频生成技术、更加丰富和多样化的应用场景和更加完善、成熟的技术标准和商业模式等。同时,他也指出,这个领域也将会面临一些挑战和难点,例如数据安全和隐私保护、商业化模式和市场接受度等问题。


Copyright © 2024 aigcdaily.cn  北京智识时代科技有限公司  版权所有  京ICP备2023006237号-1