说起剪映,相信大部分人对它的第一印象都是视频剪辑,凭借操作简单、使用方便等特点,剪映深受视频小白、剪辑爱好者,乃至视频工作者喜爱。
今年年初,Sora文生视频给行业带来了不小的震撼,作为一款时刻处于潮流尖端的软件,剪映自然不会错过AI浪潮,将产品与生成式AI相融合,或许是视频剪辑软件的未来方向之一。
近日,剪映Dreamina官宣其品牌正式更名为中文“即梦”,同时全量上线AI作图和AI视频生成功能。即梦核心功能包括图片生成、智能画布、视频生成以及故事创作,其中图片生成和视频生成功能为大家熟知的文字、图片描述生成,借助AI技术降低用户创作门槛;而智能画布功能则是即梦的一大亮点,通过交互式设计,让用户对图片或AI生成图片进行二次创作。
而故事创作功能即AI生成连续性更强、更具故事性的视频,小雷对这个功能十分期待,这意味着用户对AI视频的把控性会越来越强,假以时日,未必不能借助AI生成人物一致、内容一致的长篇连载视频。不过目前该功能还在测试中,正式上线还需等待一段时间。
最近小雷也体验了不少AI生成产品,有惊喜,也有失望,即梦的生成式AI水平属于什么水平,让小雷带你一探究竟。
即梦首页布局比较简洁,重点突出AI作图和AI视频两大功能模块,模块下方罗列着其他用户创作的作品,包含动漫、写实、科幻、水墨等风格。
小雷大致看了一圈,感觉作品质量还挺高的,并且作品生成关键词绝大多数为中文,仅有少部分是英文。作为国内厂商开发的软件,即梦AI对中文的理解能力应该比国外产品更好。
图源:即梦
图片生成的具体步骤与市面其他AI生成产品一致,用户通过输入描述关键词来生成AI图片。为了让AI更好理解关键词,即梦支持导入参考图以及选择生图模型,生成出符合用户需求的图片。
图片质量和尺寸方面,用户可以决定图片精细度(1-50范围),数值越大生成的效果质量越好,耗时会更久。同时,即梦支持7种尺寸的图片比例,方便用户使用AI图片。
图源:即梦
小雷参考其他作品的关键词,以关键词“红色长发女人肖像,黑色长裙,写真风格,精致的审美情感,逼真的图像”生成了一张写真风格的图片。不知道是网络问题还是精细度拉的太高,第一次生成就失败了,第二次生成过程还算顺利,耗时大约30s就出现了4张不同的AI图片。
图源:即梦
大家觉得四张AI图片的质量怎么样?小雷个人挺满意的,人像面部、身体特征清晰。在小雷这个外行人眼中,样张质量已经和杂志相差无几了,唯独欧美风模特让人有点摸不着头脑。小雷输入的关键词只提及了性别,但AI似乎默认了人种。
后续小雷在不改变其他关键词的情况下,新增了“亚洲”定语,AI也能顺利识别。面向国内市场,即梦AI大模型或许要在优先度方面调整,才能更符合国内用户的使用习惯。
图源:即梦
除了人像图片外,即梦其他风格的生成图片也有不俗表现。从仿真人的摄影写真,到风格迥异的手绘插画,小雷生成了不同风格的图片,AI表现比较稳定,基本能精准生成,但在手指细节等生成式AI通病上还是偶尔会出现瑕疵。
图源:即梦
智能画布是即梦AI的一大特色功能,支持扩图、局部重绘、消除抠图、高清放大等功能。该功能不仅可以对普通图片进行编辑和AI重绘,还能二次创作用户生成的AI图片,修改区域和风格由用户自行决定。
图源:Pexels
小雷首先对普通图片(地球)进行了图生图AI重绘,关键词为“魔幻地球”。原本普通的地球图片经过AI重绘后,变得科幻感满满,新增的光影和色彩效果让图片变得更立体。不过因为原图布局的原因,导致地球四周环境不够明显,这时候就需要扩图功能了。
图源:即梦
经测试,小雷发现即梦AI的扩图功能理论上是无上限的,也就是用户可以一直扩图下去。扩图时用户可以输入本次扩图的关键词,如果关键词为空,那么AI将按照原图的AI风格扩图。
小雷还是得提醒下想要体验智能画布的朋友,虽然智能画布的生成效果和效率确实不错,但局部重绘功能还是存在不小的缺陷,以普通地球图片为例,如果你手动选择了重绘范围,那么很可能会获得各种奇葩风格的地球照片,小雷就亲眼见证地球变成了一锅饺子。
小雷猜测这可能是局部重绘没有输入关键词选项的缘故,AI会自行判断重绘风格,并且判断正确率不高,或许即梦后续会继续优化该功能,给用户更好的使用体验。
图源:即梦
接下来是即梦AI的重头戏——AI视频生成,与AI图片相比,AI视频兴起的时间较短,并且有Sora这样的前辈作为参考,也能更好的观察即梦的视频生成能力。
与图片生成一样,视频生成也有文本生视频和图片生视频两种模式。小雷先体验了文本生视频模式,关键词为“一个中国古风小女孩,在长城上跑步跳跃,表情开心,笑容甜美”。值得一提的是,非会员用户目前只能免费生成3s的视频,想增加时长就只能充值了。
视频一出来,小雷是又惊又喜。喜的是关键词几乎都识别到了,惊的则是视频质量差的有点离谱,尤其是小女孩的表情,小雷差点以为自己点开了B站鬼畜,五官移位就不提了,这表情多少有些狰狞了。而关键词“跑步跳跃”也升级成了御空飞行,说到底还是AI没能彻底理解关键词的逻辑。
图源:即梦
小雷发现首页展示的精美作品,大多是采取图片生视频模式,并且许多用户只是直接上传图片没有添加关键词,但还是能实现不错的效果。为此,小雷继续尝试图片生成视频,这次我选取了刚刚AI生成的图片作为蓝图。
用图片生视频模式,相当于给AI框定了方向,因此视频质量没有出现大的纰漏,但还是同样的问题,远处两个人物的动作不太符合物理定律,看上去十分违和。可能是没有太多动作的缘故,近处人物和背景的情况相对好很多。
图源:即梦
总的来说,两种生成模式视频的质量还不错,大家看到的效果是经过视频转动图的压缩,视频质量有一定影响。其次,文本生视频比图片生视频的效果差太多了,人物与背景透露着不真实感。同样的,图片生视频也存在许多问题,人物动作以及环境可以改进的地方还有很多。
目前受限于3s时长,小雷无法窥见即梦AI视频的全貌。按照目前的体验,小雷认为与其说是视频,倒不如说是动图。当然,这是针对非会员,会员解锁视频时长后能取得什么样的成果,还需等待其他用户的分享。
体验AI图片生成有多惊喜,体验AI视频生成就有多失望,这是小雷一通体验下来的真实感受。起初,风格各异但又能保持稳定高质量的生成图片,让我产生了国产生成式AI崛起的感觉,但很快生成视频的各种情况又让我打消了这个念头。
其实这也能理解,毕竟视频生成兴起的时间并不长,即梦又是刚刚推出的新产品,用户需要给多点耐心支持国产大模型发展,毕竟最让人感兴趣的故事创作功能还没正式上线。现阶段,即梦视频生成还存在很大的改进空间,其中3s时长的限制或许是即梦在C端传播的最大问题。
不难理解品牌需要创造盈利点,但3s充其量只是个动图时长,如果能稍微放宽点时长限制,用户也能更好的感受即梦AI带来的创造力。
目前即梦图片生成功能限时免费,视频生成功能每个视频消耗12积分,新用户每天领取60积分,也就是支持生成5个视频,感兴趣的朋友可以自行体验。
本文来自“雷科技”,36氪经授权发布。