70万人争先体验！视频生成新王者「可灵AI」又双叒升级了

机器之心报道

编辑：泽南、杜伟

难不成，AI 生成短剧时代真的要来了？

最近，各路视频生成 AI 放出的 Demo 让人眼花缭乱。从玩梗图、拼长度再到讲究真实物理逻辑，层出不穷的人工智能创意难分高下，个个都要跟 Sora 试比高。这时候，突然有人偷偷先行一步，搞出了「电影级」的表现：

从真实风格的光影效果：

来源：https://x.com/i/status/1806383419661730197

到丰富的想象力，要素齐全，都能搞定：

没想到在 AI 眼里，其实是蝙蝠侠能让小丑绷不住。来源：https://x.com/blizaine/status/1806383419661730197

有的人已经在尝试使用这种能力来完成复杂的任务。有视频生成的 AI，音乐生成的 AI，再加上一些 PS 和 AE，我们就可以制作出完整的 MV 了。

来源：https://twitter.com/Arata_Fukoe/status/1809840865063629292

你问网友们如何看待这种生成效果，网友要反问一句「好莱坞你怎么看？」

这种 AI 视频生成的效果丝滑且精细，吸引了一大波点赞，仔细翻看，社交网络上由它出品的短视频还有不少。

据网友总结道，新款 AI 的优势主要体现在生成大幅度运动时不容易乱脑补。再比如让它图生视频，一个奔跑的半人马：

来源：https://x.com/StevieMac03/status/1809694320649465930

这些视频背后的生成式 AI，是快手旗下的大模型「可灵 AI」（Kling），几个星期前它开始在全球互联网上刷爆，那时就号称「一号难求」。

没错，这不是先放出一些 Demo 搞 PPT 发布，而是上来就直接开放的产品级应用。现在可灵 AI 已经上线了网页版，主打一个简单好用。

最新数据，可灵 AI 的申请用户数量已经接近 70 万，成了全网最热的视频生成大模型。

一月数次升级，可灵 AI 的狂飙式进化

今年是生成式 AI 元年，早在 2 月份，OpenAI 的 Sora 就把竞争拉到了视频生成的高度。但率先落地的还数国内科技公司。

自 6 月 6 日正式亮相以来，才一个月的时间，快手可灵 AI 这一首个在海外 AI 圈引起热议的国产大模型就经历了三次迭代更新。

从最开始的文生视频，到两周后支持图生视频、视频续写、多尺寸选择，可灵 AI 表现得越来越出色、全面。视频生成的各种需求，不知不觉中似乎都被解决了。

就在上周末的世界人工智能大会 WAIC 2024 上， 可灵 AI 迎来第三次大的升级，发布了一系列新功能，在视频生成质感、美感、可玩性方面大大提升，带来了创作体验上的又一次跃升。

快手高级副总裁、快手主站业务与社区科学线负责人盖坤介绍了此次可灵 AI 升级的三大亮点功能，包括高画质版、首尾帧控制和相机镜头控制。

盖坤

首先，可灵 AI 基础模型再度升级，推出了更加清晰的高画质版。升级后，生成视频的画质相较于之前模型有了质的飞跃。

同时得益于更高的训练时空分辨率，可灵 AI 在生成细节、构图、运镜美观性、光影方面都有很大改善。

从如下画质的对比中，我们可以一目了然地看出可灵 AI 之前模型与最新模型之间的区别。

其次，可灵 AI 在图生视频领域增加了实用且呼声很高的「首尾帧控制」功能，让首尾帧呼应的图生视频成为了现实。

通过自定义起始帧和结束帧图像，让用户精确控制不同视频片段之间镜头的丝滑转场，实现一镜到底等效果。从实际生成结果来看，不仅动作自然流畅，画质也能够得到保证。这一功能的引入让用户拥有了更直观、更便捷的编辑体验，满足了个性化的图生视频需求。

比如将如下两图生成一段视频：

效果是这样的：

最后，可灵 AI 增加了运镜控制以及自动大师运镜功能。在视频的世界中，更多镜头的组合可以捕捉更多画面，并增强整体表现力。

可灵 AI 预设了六套经典的镜头控制方式，包括 Roll 旋转运镜、Tilt 垂直摇镜、Pan 水平摇镜、Vertical 垂直运镜、Horizontal 水平运镜和 Zoom 推进 / 拉远，为不同场景提供了丰富的选择。用户还可以调节这些运镜的正数、负数参数，从而控制运动的激烈或平缓程度以及反向运动等。同时，大师级运镜有助于产出电影感十足的吸睛大片。

可以看到，随着这些新功能的加入，可灵 AI 在视频清晰度、美学表现以及内容自定义控制方面有了肉眼可见的改进。

不仅如此，正式与用户见面的可灵 AI 网页版集成了文生图、文生视频以及不久后将支持的视频编辑能力，成为发布即可用的一站式视觉内容创作平台。

其中新增的「首尾帧控制」和「运镜控制」功能目前在网页端提供，想要体验的小伙伴可以速速去申请了！

可灵 AI 网页版地址：klingai.kuaishou.com

用「诚意满满」来形容可灵 AI 此次的升级不为过，背后当然离不开快手在视频生成能力和技术上的持续创新突破。

「电影级」AI 生成，背后全是技术

相较于已经非常成熟的图像生成，视频生成任务更复杂，在实际应用中要面临着真实性、动作连贯性、画面流畅性、细节精度、场景、角色和光影一致性、物理准确性以及时长限制等诸多挑战。

这些挑战应对得好不好，将直接决定了模型的实用性和易用性。显然，再度升级的可灵 AI 在这些方面有了脱胎换骨的变化。总结起来，可灵 AI 拥有七大能力亮点。

快手视觉生成与互动中心负责人万鹏飞对这些能力一一展开了剖析，这些构筑起可灵 AI 在视频画质、图生视频、运动生成、生成时长、物理规律、指令响应、视频可控性等方面的核心竞争力，并造就了如今全能的可灵 AI。同时，万鹏飞还对未来发展做出了展望，他表示，视频生成效果的提升速度非常快，正在逐步接近图形渲染和相机拍摄，将会对泛视频行业带来新的机遇。

万鹏飞

其实我们已经见识过了可灵 AI 的能力，前文展示的高画质版、首尾帧控制和相机镜头控制新功能正是可灵 AI 在电影级高清画面生成、领先图生视频效果和优秀视频生成可控性三大能力上的进一步演化。

其中电影级的高清画面生成能力能够高保真、生动地呈现壮阔的自然风光、人或动物的动作和表情等宏大或细微的场景，大片感十足。

领先的图生视频能力可以让静态图像动起来，转换为生动的 5 秒短视频。同时搭配不同的文本输入，让图生视频更有创意且「随心所欲」。

比如将小狗游泳的图像转换为视频：

效果是这样的：

优秀的视频生成可控性让更加精细的视频创作掌控在用户手中。除了此次的相机镜头控制之外，可灵 AI 未来还将在语音面部匹配、人物 ID 保持、通过简单笔画提示控制画面和布局的演进等更多方面实现可控调整。目前模型的训练已经完成，这些功能很快就会上线。

与此同时，可灵 AI 在运动生成、生成时长、物理规律、指令响应等其他四大能力上也进一步升级。

其一可灵 AI 具有大幅度且合理的运动生成能力。通过建模复杂的时空运动，可灵 AI 可以生成较大幅度的运动，并符合运动规律。

此次得益于更充分的模型训练，可灵 AI 生成的整体运动效果更加灵动，支持更大动作范围的同时合理性也没有削弱。如下小猫的转身、走路姿势等都刻画地非常自然合理，符合物理事实。

其二是分钟级的长视频生成能力。现在，分钟级时长已成为评价一个视频生成模型的重要指标，这要求更有效的多镜头处理、更长的故事讲述以及更连贯一致的运动扩展能力。

目前，可灵 AI 能够生成数分钟的 1080p、30fps 视频。同时开放了遵循用户指令的视频续写功能，单次续写让视频运动延时 4 到 5 秒，还支持连续多次续写，最长可以生成 3 分钟的视频，并且续写时能够指定故事后续发展方向，易用性拉满。

此次升级后，可灵 AI 在算法和工程层面进行了联合深度优化，使得单次生成的视频长度从 5 秒提升到了 10 秒，在对用户开放使用的产品中实现最长时长，可以呈现更加完整的故事线，为用户提供了更广阔的创作空间。

其三可灵 AI 能够模拟复杂的物理世界特性。自 Sora 以来，各家视频生成模型都非常注重生成符合物理规律的视频，这决定了模型能力的上限。

可灵 AI 在发布之初就能够准确地建模和模拟现实世界的属性，让生成的视频接近真实，比如给小猫洗澡。

现在，在更充分模型训练的加持下，可灵 AI 对交互式物理规律的建模和模拟能力又上了一个台阶。

其四可灵 AI 的概念组合和指令响应能力非常强。在技术实现上，通过对文本到视频跨模态语义的深刻理解，可灵 AI 能够将用户丰富的想象力轻松转换为具体的视频画面，放飞脑洞，比如咖啡杯火山。

升级后的可灵 AI 接受了效果更优的文本数据和编码方案，自然而然对用户提示词的响应能力得到增强，视觉渲染效果更好了。

所有这些能力又源于可灵 AI 在视频生成技术路线（采用 DiT 架构）、模型设计（如隐空间编解码、时序信息建模、文本扩展及编码）、数据保障（如多维度标签体系、视频描述模型）、计算效率（如分布式训练集群、分阶段训练策略）、能力扩展（如视频时序延展、多模态输入可控）等方面的技术积累和独到创新。

可以说，如今的可灵 AI 在技术层面做到了先进且靠谱，怪不得技术一落地就受到了人们的追捧。

生成式 AI 时代，快手有备而来

过去一年多的时间里，整个大模型领域可以说是非常的卷。去年都在谈基座模型的研发，今年大家又都在讨论应用。最近几天 WAIC 大会开幕，我们又目睹了一波「模型派」和「应用派」之间的争论。

在这波浪潮中，快手又是怎么做的？

首先，它玩的是体系。从底层的 IDC 算力中心到网络架构、AI 平台，到中层的基础核心大模型，再到应用层的各类应用探索，快手实现了全套自行研发。在谈到该体系时，快手副总裁大模型团队负责人张迪认为，坚定投入自主研发长期来说会带来「技术雪球」效应以及巨大的成本优势。快手一个非常大的优势就是在上层拥有大量的 AI 应用场景，这将给大模型带来非常多的落地机会。

张迪

整体框架是这样：

其次，快手坚持走基础模型技术研究和商业应用落地并举的战略。基础模型决定了 AI 能力的上限，研究投入的量变可以引发质变；另一方面，商业化应用能够滚起技术的雪球，把新技术阶段性投入应用，不断收获反馈，才能逐渐形成良性循环。

去年开始，快手提出了「快意」大模型（KwaiYi），很快从早期的 13B 参数量发展到了 175B，并推出了多模态版本。在多个版本的迭代后，快意大模型已经在快手内部的素材创作、AI 互动、内容生产等场景中开始发挥作用，在今年 6 月，基于快意的 AIGC 营销素材单日消耗超过了 2000 万。

有了基础模型，在更多的场景上，快手逐渐发展出了自己的差异化能力。

具体来说，在文生图上，快手的「可图」已成为行业内顶尖的模型之一，拥有强大的语义理解和指令跟随能力。得益于在文本表征方面的创新，以及图像数据对齐的大量工作，可图可以画出摄像级的画面质感，经过强化学习的训练，审美也和人类的普遍标准实现了对齐。

而在视频的生成上，「可灵 AI」燃起了全球视频生成领域的新一轮竞争。它可以进行文生视频、图生视频，又具有丰富的图像编辑能力，在视频生成的可控性、质感、美感、运动合理度方面保持业内优秀。快手的工程师们正在持续进行工程算法的优化，力图不断降低视频生成 AI 的门槛。

说到打下门槛，新技术的优化是当前生成式 AI 面临的重要挑战之一。作拥国民级短视频应用，快手的优势在于拥有大量 AI 应用场景，这就给落地实践带来了场景和机会。

在技术落地上，快手实现了一系列里程碑：

• 快手在 APP 评论区内测的对话模型应用「AI 小快」，可以理解视频中的内容并与你互动，至今已经累积了超过 1000 万的粉丝量。
• 在电商的直播间里，利用文生图 AI「可图」的能力，老铁们也可以用自己的生活照快速试衣，甚至看到动态展示。
• 视频生成模型「可灵 AI」自发布以来获得了用户的广泛认可，已经累计生成了 700 万条视频，开放了一站式内容创作平台。
• 从内容的生产、理解到推荐等不同层面，从个人再到电商，快手的生成式 AI 能力已经做到了对于主体业务的全覆盖，持续推进着快手生态的不断发展。

最后还有新的尝试。在 WAIC 上，快手预告说首部 AIGC 短剧《山海奇镜之劈波斩浪》将在本月正式发布。

视频链接：https://mp.weixin.qq.com/s?__biz=MzA3MzI4MjgzMw==&mid=2650925433&idx=1&sn=970d6ea088f5c7c1b9f2b46371b872d1&chksm=84e42d07b393a411fe24bdd61d670ad31e035a72c89d658d3d6acbc77d0d7ea90a1c7469b206&token=761964394&lang=zh_CN#rd

该剧由可灵 AI 提供深度技术支持，以赛博风格来复现山海经里的上古神话世界。从预告片来看，山脉到海洋、森林到天际等场景都呈现出了震撼的视觉效果。在以往，如此效果可能需要专业的特效团队，现在，视觉生成 AI 就能带来震撼的视觉体验了。

没错，半年前我们还在畅想未来，现在 AI 真的开始拍电影了。

当前大模型的浪潮中，最能证明技术能力的莫过于大规模落地。

而快手全方位的实践让我们再次确认：AI 的生产力已在不知不觉间，改变着我们的生活。