当前位置:首页|资讯|Sora

亲测快手「可灵」大模型:惊艳不输Sora,但有点短

作者:蓝媒汇发布时间:2024-07-25

作者|陶然 编辑|魏晓

文生视频赛道,迎来一份产自国内玩家惊喜:

快手「可灵」视频生成大模型:

寒冷的北极,探险队穿越冰雪,使用雪地摩托追逐极光

六月,可灵大模型官网上线,不但效果对标OpenAI年初发布的Sora,还一改此前各家视频大模型以发布案例为主、只能观看“演示”的套路,直接开放邀请测试权限。

排队申请测试的人数几天时间内便迅速破万,尽管通过审核的用户每天都在增加,但仍有超过35万用户仍在等待中。

可灵AI申请界面

可灵大模型的火爆程度,可见一斑。

七麦数据显示的iOS端数据,进入六月后,随着可灵大模型在快影App的公测,应用下载量在一个月的时间内始终波动上升,峰值单日下载量超过26000,预估单月下载量超过62万。

对于一款定位创作工具的App来说,这个数据确实可观。近一个月,快影在摄影与录像App榜单中始终位处于前十五位,目前已经高居第六,前五则是老几位图像、视频领域的国民级App。

这种备受关注,初期或许有一部分是来自快手在大模型领域的“突然出招”,但现如今,已经体验过的用户,包括蓝媒君在内,几乎都已经为大模型的成像效果叹服。

年初,一段文字生成一段几乎以假乱真视频的Sora全网爆火。业界猜测视频模型这边“大的要来了”。但实际情况是,OpenAI对自家这款看起来遥遥领先的模型,却迟迟未有对外开放体验的迹象,迫切想体验的用户们只能一等再等。

而向来务实的快手,这回则掏出了直接能用的产品,高调宣布:老铁,这回大的可能真来了。

国产Sora成色几何?

严格来说,快手在大模型领域给外界的印象,并非那一类声量极高的头部玩家。但这次发布的文生视频大模型可灵,却着实惊艳了行业一把:

不管是对用户提示词的理解,还是最终成像质量和速度,说句超预期,并不过分。

真实的案例最为直观,先来一个白天的简单场景:

烈日下的广袤沙漠中,考古团队发现了古老遗迹的残存,掘出了神秘古文物。

把更多的人物和更复杂的场景加进去:

在绿树成荫的户外咖啡馆里,顾客们坐在木桌椅上,享受着阳光和咖啡的香气。

最后再测一下光影效果最复杂的夜景中,物体运动的效果:

城市夜幕下,高速赛车在闪烁的霓虹灯光中飞驰,追逐者们穿越繁忙的十字路口,转弯时车尾划过闪光的水坑。

除了镜头移动速度普遍偏慢之外,画面上可灵大模型几乎没有出现大面积的bug。

当然,目前版本的模型在处理多人场景时,成像效果确实还不稳定:

在繁忙的城市公园里,一群年轻人展示着街舞,他们在音乐的节拍下与观众和谐互动。

以及,在处理一些比较细节的人物动作,如“踢球”这类提示词时,对具体运动的表现力仍有提升空间,并且目前生成视频的时长似乎被限制在了5秒:

生成一段时长为15秒的视频,展现一位球员在足球场上奔跑,接到传球后准备射门。

在生成第一段(时长一般为5秒)视频过后,可灵大模型界面给用户提供了一个“延长视频”的选项,用户可以修改或细化提示词,在保留原视频主体的基础上,延长视频的整体时长。

5秒的原视频被延长到了10秒左右,官方称视频时长最多可达两分钟(帧率30fps)。但若要达到这个最大时长,意味用户着需要延长视频数十次,并等待极长的时间,显然对于用户来说,投入产出比并不理想。

不过,至少在文生视频领域,技术层面快手显然已迅速跻身到行业内的领先集团之中。

尽管,可供对比的玩家并不多——从文生图模型快进到文生视频模型,涉及到多模态领域的转变和扩展,是很大跨度的一层台阶。

因此,能达到公测水平,同时还要有足够算力支撑公测的产品,更是少之又少。以至于突然杀入前排之后,除了OpenAI的Sora,快手一时间确实找不到太多公开产品进行贴身对垒。

突然领先,是这样的。

有机会超越OpenAI吗?

目前来看,仍有差距。

至少,仅看官网演示的部分——时长充足、画面稳定,动作和光影的流畅程度完全以假乱真,Sora的模型能力对比同行,确实堪称“降维打击”。

包括快手在内,同行比较现实的选择现阶段仍是保持研发进度、有阶段性的产出落地。

而在技术层面,可灵大模型与Sora,其实有着些许相似的设计思路。

架构选择上,快手大模型团队采用的方案,是类似Sora模型的DiT结构,使用Transformer替代了传统的卷积U-Net。这一转变增强了处理和生成能力,解决了U-Net在处理复杂任务时冗余、感受野和定位精度的问题。

三个问题的优化,使得模型效率和性能提高、能够捕捉到更宽广的特征范围,模型对细节的识别能力也随之增强。

而快手自研推出的3D VAE网络,实现了时空同步压缩,相较于Stable Diffusion所用、存在明显的信息冗余的2D VAE空间压缩方案,获得了较高的重建质量的同时在训练性能和效果也取得了最佳平衡。

配合新设计的、能更准确地建模复杂时空运动并兼顾具运算成本的全注意力机制(3D Attention)作为时空建模模块,有效提升了模型的建模能力。

当然,后台的模型能力是一方面,怎么让用户输入的自然语言对接上大模型的能力,同样需要做额外的建构。

为此,快手专门设计了一款能有效扩展和优化用户提示词的语言模型,相当于在自然语言输入和大模型生成视频之间,再加入一道AI处理工具,将自然语言转录成更符合AI逻辑的字符,从而提升模型对文本指令的响应能力,让视频的主题更清晰、叙事更连贯。

整套设计环环相扣,大模型才能读懂用户需求,并精准建构流畅且高质量的画面。

结语

在文生视频领域,快手算是跑在了行业前排——在一些同行还在聊概念的阶段,直接把产品抛向市场,交给用户测试。

并且生成的视频,也已经完全能够触及“可用”的范围。

当然,提升空间也是有的,比如一些比较复杂或者小众的动作指示处理,比如时长和运镜自由度等等的进一步增加。

可灵大模型,从各方面看应该都只是快手AI布局的前几步,秀一下在快速迭代的AI视频生成领域中,为用户需求提供解决方案能力和技术优势。

至于文生视频何时能作为用户内容的补充,甚至成为缺少素材时创作的主流选项,老铁们应该也可以开始期待了。

Lanmeih/今日话题

快手可灵大模型你体验了吗?评价如何?

咱们评论区聊聊~


Copyright © 2024 aigcdaily.cn  北京智识时代科技有限公司  版权所有  京ICP备2023006237号-1