出品|搜狐科技
作者|任婧瑄
编辑|杨锦
AI视频,天天都在争王位。
养精蓄锐许久的生成式AI老玩家Runway,终于带着Gen-3 Alpha强势回归了!
与上一代Gen-2相比,Gen-3 Alpha在保真度、一致性和运动表现等方面,再次向构建通用世界模型迈出了一大步。
简单总结下,Runway是这样解释通用世界模型(GWMs)的:接受文字、视频、图像混合训练的通用世界模型,比语言大模型(LLMs)更能理解现实视觉世界中的物理,而且能精确地模拟运动、交互等细节效果。
凭什么Runway一出手就能获得海外网友清一色的追捧?
Gen-3 Alpha Demo视频截图
【Prompt: A first-person POV shot rapidly flies through open doors to reveal a surreal waterfall cascading in the middle of the living room. 提示词译文:第一人称视角的镜头飞速穿过敞开的房门,展现出客厅中央层层叠叠的超现实瀑布。】
首先,因为Runway在训练Gen-3的时候就用的都是非常细、非常密的文本描述,所以它在生成视频时,能够看到,即便是将提示词组合成非常不现实的一句话,它也能满足用户“脑洞大开”的要求。
Gen-3 Alpha Demo视频截图
【Prompt: A cinematic wide portrait of a man with his face lit by the glow of a TV. 提示词译文:一幅电影般宽幅的男子肖像,他的脸被电视的光亮照亮。】
Gen-3 Alpha的第二大优势就是在生成人类各种动作、表情、和神态时,不仅能达到极度逼真和细腻入微的效果,而且还能精确想象、映射出人物情绪、外部环境,如光效、场景等。
Gen-3 Alpha Demo视频截图
用Runway的话来说,Gen-3的诞生是“由艺术家创作,献给艺术家”的作品(“For artists, by artists”)。因此,它在生成超现实主义、动画等艺术风格,以及塑造非现实角色时,也能富有绝对丰富的想象力,
与Gen-2一样,Gen-3也支持文生视频、图声视频和文生图,现有功能包括控制部分细节运动轨迹的“运动刷”(Motion Brush)、控制机位镜头的“高级相机控制”(Advanced Camera Control)、以及提供图片+文字生视频和视频延长需求的“导演模式”(Director Mode)。
未来,Runway还将推出更多工具,让用户对内容结构、风格和运动实现颗粒度更高的控制。
最让人不迫不及待的是,Gen-3 Alpha其实只是个“甜头”。Runway官网剧透,Gen-3 Alpha是基于大型多模态模型全新训练基础设施训练而成的一系列模型中的第一个。
今年2月Sora席卷全球时,就有网友对着Runway联合创始人Cristóbal Valenzuela贴脸开大:“几个月后,Runway能做出与Sora类似的产品吗?”
Cristóbal丝毫不怯场的回复道:会比Sora更好。
如今,从Gen-3 Demo的生成效果和功能来看,光芒确实能盖过Sora了。