新智元报道
编辑:编辑部
【新智元导读】文生视频和图生视频,已经卷到硝烟四起。Runway发布Gen-2当天,CEO放出豪言:创意软件已死,一个时代结束了!
生成视频AI,已经卷疯了!
Runway和Midjourney打到红了眼,一个紧咬一个地纷纷放出大招。
抢在Midjourney之前,RunwayML紧急发布了Gen-2高清版,让生成的照片动了起来!
Runway CEO Cristóbal Valenzuela表示,创意软件已死,这是一个时代的终结!
而另一边,史上最强作图神器Midjourney也上线了新功能Style Tuner(风格调谐器),让我们可以像调色一样,调配出各种图像风格了。
再这么卷下去,电影制作行业的大地震,马上就要来了!
Gen-2:手搓4K大片,细节炸裂
就在刚刚,Runway宣布更新了文字和图片生视频的模型。清晰度和视频一致性都得到了大幅提升,几乎达到了Midjourney V5的水平。
Runway的进度,很疯狂。要知道,Gen-2正式发布,也不过才4个月而已。
这个生成分辨率和细节,离谱到有点可怕!不仔细看,真的分辨不清是真实视频,还是AI生成的。
一致性,是生成视频AI领域的一个重大难题,Gen-2也完全克服了。画面变得更连贯,变形问题也得到了解决。
还记得今年2月初,Runway首次推出Gen-1已经让人们玩的爱不释手,紧接着6月份第二代Gen-2的更新,在生成的内容和效果丰富度上远远超越前身。
如今,新一代的更新,已经在生成分辨率,以及细节上,让人瞬间觉得离谱。
大V「indigo」说,这绝对是PPT视频博主的福音。按照这个速度发展下去,明年底应该就能看到生成式视频导演手搓好莱坞级别的幻灯影片了。
有人说,「如果不出意外,A人工智能可能会让电影行业的大批人员失业。」
Runway CEO表示,「一代软件已经死了,这是一个时代的结束,也是另一个更激动人心时代的开始。」
创意软件 1.0 是关于将特定任务划分为多个域。矢量图形、NLE、动态图形、图像编辑、3D、音频编辑、合成等都是高度专业化的领域。
2.0,则是使用了解世界的模型来执行伟大的想法。模型负责模拟世界,生成我们要求的东西。我们都是策展人。我们都是董事。
广告大片效果炸裂,游戏规则已改变!
国外一位AIGC从业者大V说,Runway的Gen-2堪称是改变了游戏规则——这是一个巨大的改进,只用更少的工具,却带来了无限的新可能。
这位大V迫不及待的用Gen-2做了一个主题为「粉红色伊维萨岛」的视频,效果非常炸裂,无论是人物的头发,还是树木、睡眠,细节都格外逼真,画面也很稳定。
网友们纷纷表示,这太神奇了,画面和人物呈现的一致性令人瞠目结舌。
如果不是后面没有出现品牌标志,简直会让人以为这是一个香水广告大片!
广告演员要失业了?
有日本网友用Gen-2做成了这个视频,prompt是「最近的新宿,霓虹灯闪耀」。
有人惊呼,看到Gen-2的更新,我想回去把我过去六个月的视频都重做一遍……
这位网友表示,Runway的Gen-2更新太疯狂了! 我刚刚在手机上快速运行了2个文本提示,测试了「丛林中的狮子/黑豹」,输出质量和控制都非常出色。
再来看看常见的炸弹蘑菇云,稳定性和分辨率给人留下了深刻印象。
Prompt:Cinematic wide-angle shot. An atomic explosion erupts in the icy landscape, engulfing the surroundings in a blinding light. Devastating and surreal, a cataclysmic display of power. Directed by Christopher Nolan.
还有网友对Gen-2旧版和更新版生成视频效果,做了对比:
很明显,分辨率大大提升(16:9 - 2816x1536 VS 1792x1024)。
另外,更新后的Gen-2移动幅度较小,但效果要干净利落得多。你甚至可以将滑块调大,以获得更大的移动幅度。
具有相同参数的相同映像,在第一代Gen-2是这样的——
用第二代Gen-2做出来的视频,画面清晰度瞩目,没有在上一代中容易出现的渐进式模糊,渺小的人容易区分,动作也很容易跟上。
虽然这次更新的是Gen-2,但有人认为它已经可以被称为Gen-3了。质量的提高程度堪称疯狂。
Midjourney上新:专属图像风格,混搭更有趣
同在今天,史上最强作图神器Midjourney也推出了新功能更新:Style Tuner(风格调谐器)。
也就是说,现在我们就可以像调色一样,调配出各式各样的图像风格。
不如,先来看一波网友的演示。
宫崎骏动漫风、赛博朋克自定义
Midjourney这次更新,已经足以改变游戏规则,将开启无限的新可能性。
已经有许多人迫不及待地想看看能用它做什么!
多元化人群的不同风格。
文艺复兴时期风格的美少女。
prompt:renaissance mythology by frank holl:: when the feverdream hits --c 20.0 --style raw-4XGrq9MnocooIuj-l04HJl1seniG5FEF --s 1000
宫崎骏动漫中的「吉卜力风格」,好像走进了童话小镇。
另外,有网友还做了Midjourney的「风格混合测试」,简直带了了非常有趣的美学。
以下图片都是用的一个提示。
具体步骤是,使用 /tune 生成了128个独特的风格方向。然后,选择了6种独特的风格,生成了6个独特的代码。
然后再次运行提示,将不同的风格混合在一起。
将这些风格仔用到不同的提示上。
这些都在在不同的提示符上使用「风格2+3+4」的组合。
其他网友看过后惊叹道,除了迷幻,竟无言以对。
我真搞不懂我们有多少美学可以利用!我发誓,每次我都想「是的,我已经正式见识过这一切了......」,然后依旧总会被震撼到。
被诅咒的「芝麻街」。
再把它做成动图的样子,更有趣了。
网友通过对「风格调谐器」的快速测试,研究出了一种「雾蒙蒙的氛围」风格。
最后一张图,看着还有点像2049银翼杀手。
下图左上角prompt:Victorian London era, people walking in a deserted town centre along a street, in the style of dark and ominous, frozen movement, anamorphic lens flare, award winning photography, kintsukuroi, soggy, mist --style raw-btvMSX6949oRdtpi --ar 21:9
还有人生成了电影级大片的质感。
七步生图,手把手教程
官方也给出了具体教程:
教程连接:https://docs.midjourney.com/docs/style-tuner
第一步:生成你的自定义风格调谐器
使用 /tune 命令创建样式调谐器页面。
第二步:选择你的首选选项
- 风格方向:选择你希望在「风格调谐器」中看到的图像对数量(16、32、64、128对)。
- 默认模式:选择你喜欢的样式模式(默认或原始)
第三步:确认提交
单击 Submit 按钮,确认你的提交。
「风格调谐器」能够为每个风格方向生成2张图像。有16个方向将生成32张图像,128个方向将生成256张图像。
简之,方向越多,生成的样例图片也越多。
不过,Midjourney官方提示,生成大量样例图片需要消耗你自己订阅计划中的GPU运算时间。
第四步:打开自定义「风格调谐器」
当「风格调谐器」准备就绪时,Midjourney机器人会向你发送一条直接消息,其中包含指向调谐器的链接。
单击该链接以在Web浏览器中打开「风格调谐器」。
尝试此样式调谐器:https://tuner.midjourney.com/ejYLCOY
第五步:选择图像
你的「风格调谐器」会以行的形式展示一对对的图像,每对图像代表了针对你提示的不同视觉风格方向。
第六步:复制你的代码
「风格调谐器」生成一个代码,你可以使用 --style 参数添加到提示中。
- 在页面底部找到你的自定义代码。- 单击 Copy 按钮以复制原始提示和新生成的 --style 参数。
这里值得一提的是,你可以与朋友分享「风格调谐器」页面并生成新代码,不需要使用任何额外的GPU分钟!
第七步:生成图像
- 回到Discord。
- 使用 /imagine 命令并将复制的提示符和 --style 参数粘贴到 prompt 字段中。
- 生成图像
教程后面,Midjourney还给出了一个生成示例:
prompt vibrant california poppies
Midjourney+Gen-2梦幻联动
再来一波Midjourney+Gen-2的联动。
网友表示,AI电影制,未来已来。RunwayML的Gen-2更新解锁了近乎全高清的视频。
各大公司疯狂开卷,飞驰的列车已经不会再停,AIGC还会给电影圈带来什么样的颠覆,让我们拭目以待。
最后一问,你是否被惊艳到了?
参考资料:
https://twitter.com/iamneubert/status/1720067862168223979
https://twitter.com/runwayml
https://the-decoder.com/midjourney-update-brings-ability-to-create-custom-styles/