视频版Midjourney——Runway Gen-2正式上线,可免费试用!一句话创作「小电影」,零成本生成酷炫大片,人人都能做大导的时代来了?
翘首以盼了三个月,Runway的Gen-2终于可以免费体验了!
可以说,这是AI视频工具发展史上值得载入史册的一天。
试用地址:https://app.runwayml.com
这个AI工具,能用文本和图片迅速生成4秒的视频。也就是说,生成视频的方式,完全就是「无中生有」。
激动的网友们纷纷跑去实测,感想就是:效果太炸裂了,这个AI是疯了吗?
唯一遗憾的就是,目前生成的视频只有4秒钟。(但如果前后的画面不突兀,多拼接几个4秒的视频,其实也够了)
来源:歸藏
来源:紐村遁一子
激动的心,颤抖的手,经常在颅内自动上演各种大片的小编,可实在是按捺不住了。(所以我梦里的画面可以成真了吗?)
话不多说,实测这就来了。
进入页面后,先试一个简单的prompt:「人类第一次登陆火星,建造基地的场景」。
Gen-2生成的画面内容是符合提示词描述的,但是画面中元素太过简单,艺术感也差强人意。
于是小编又加了一部分和环境风格相关的内容:「人类第一次登陆火星,建造了火星基地,电影风格画面,未来风格。」
果然,这次Gen-2生成的内容和效果确实比之前的要丰富。
然而,这段视频还是存在一个问题:画面和人物几乎都是静态的,变化很少。
在反复测试之后,我们找到了一些提示词必备的内容:风格,镜头,内容,动作,环境和光线。
只要在提示词中加入这些内容,就会立马让生成的动画有显著的提升。
针对刚刚登陆火星的主题,小编又试着改写了一个提示词:
「电影风格,科幻风格,两个宇航员在火星基地中建造一个工作塔,非常强的阳光。」
现在生成的这段动画和前两个相比,不论是画面风格,内容丰富程度,动作效果,还是光影效果,都明显有了很大的提升。
最后,小编再在同样的提示词基础之上,上传了一张图片,让Gen-2依据提示词和图片生成了一段动画。
可以看到,和同一个提示词但是没有图片的第三个视频相比,带图片提示的第四个视频确实和图片内容有了相当大的关联。
在精准的提示词和图片的共同描述下,基本上任何人都能瞬间生成一段理想的视频内容了。
比起上次,Runway这次的的宣传语更进一步:「只要你想象得到,它就能给你生成」。 (上次的宣传语是「say it,see it」)
这还得了?要说咱们一般人和大导演们的差距,除了专业知识和经验,差的就是专业的摄影团队和演员了。
后者这样的差距现在完全被Gen-2这样的AI工具给补全了,不用相机,不用摄影机,不用3D建模,不用Cinema 4D……
只要你想象力爆棚、学会熟练的「咒语」,「人人都能做自己的电影」再也不是梦了!
无论是写实的画面——
还是更抽象的东西——
甚至还可以生成动画,再对它进行各种操作,然后插进自己的视频里。
视频生成的门槛被大大拉低,这真是广大内容创作者的福音。
可以说,文生视频/图生视频的AI,实在是给行业太大的颠覆性改变了。
以往,如果剪刀手们想寻找到某个合适的素材(比如一些在空间中飞溅的颜色),得去stock footage这种素材网站去搜索,素材的范围很有限,而且人人都可用,素材并不是独家的。
或者,在工作室中拿一些油漆往周围扔出去,然后自己用相机抓拍。又费时又费力,还把周围环境搞得一片凌乱。
也可以在Blender中自己做,一般需要耗费数小时,甚至数天。
或者,就需要雇一个专业团队,专门来拍摄这一过程。所花的费用,大概在几百到几千美元不等。
现在,Gen-2把这些成本,统统打了下来!
其实,此前的Gen-1,效果就已经足够炸裂。
随着 Gen-2的发布, 下 面 这段 视频 最近又被 带火了。
只见,大叔一个响指,就变身贵族,穿越到了17、18世纪的欧洲宫廷。
很快,一个响指,又变身成了像是「星球崛起」里的主角,在残垣断壁的战场上穿梭。
这还不算什么,紧接着的性别切换,堪称一绝!
谁能想到,如此健美的女性,其实是刚刚那个「老爷子」。
不得不说,在网友的调教下,Gen-2生成出的背景、人脸以及服装不仅相当自然,而且似乎还有比较强的一致性。
但最难处理的手部,还是会经常出现bug。
已经有手快的推特网友,测试了一下Gen-2生成MV的能力。
实践证明,我们需要一个相当长的提示,来产生优质和可控的结果。不过,可以通过添加或改变一个词来进行微调。
除此之外,还有一个重要的影响因素——锁定种子。
剩下的,就是进行大量的尝试了。
比如,这位Steve Mills总共生成了大约500秒的视频,并最终剪辑成了140秒的MV。
值得注意的是,这段视频其实是在测试版中制作的。
据作者估计,如果按公开版的价格,整个制作下来至少要花费30美元。再加上之前的学习和摸索阶段,这个价格还会更高。
看了这么多示例,怎么进阶好莱坞大导?咱们一步步来。
首先,注册一个账号。
进入主页后,选择Gen-2:Text to Video。
然后,Prompt box就出现了。此时就需要你大显身手了!
Prompt完成后,你还可以打开选项设置卡,升级你的成果,比如选择插入帧,让视频过渡更平滑,提高分辨率,去除水印等。
然后,点Generate,接下来就是见证奇迹的时刻!
但是很多小伙伴要说了,自己是语死早,太复杂、太华丽的prompt根本写不出来啊。
别急,这次上线的Gen-2还给了我们一大惊喜——即使是简单的prompt,Gen-2产出的视频也并不差。
比如,简单地输入「一棵树」,生成的视频是这样的——
如果输入「在美国中西部长满草的山上的一棵树,专业电影风格,景深浅,主体对焦,美丽的灯光,流畅的动态运动」,生成的视频是这样的——
就是说,不必进阶为prompt大师,咱们普通用户也能快速生成酷炫的视频了!
对此,B站网友们纷纷开起了脑洞。
也有人上手实测了。
国外网友看到了Gen-2也是一片惊呼
终于等到你,还好我没放弃。
随着生成式AI不断产生视频内容,娱乐行业马上要变天了。
在几十年前,那时的电影跟现在的画质还有着天差地别。
而如今,有了Gen-2之类AI工具的加持,或许以后电影的边界,只是人类想象力的边界,而不再是技术的边界了。
https://app.runwayml.com/
本文来自微信公众号“新智元”(ID:AI_era),作者:新智元,36氪经授权发布。