当前位置:首页|资讯|Sora

国产Sora赛道无战事

作者:懂财帝发布时间:2024-07-15

哪怕大厂有资金、技术的绝对优势,在AI时代,无论公司规模大小,都是创业者,很难轻易全力投入。

距离OpenAI发布Sora已过去近半年,国内的挑战者轮番上阵,只增不减。

就在刚结束的2024年世界人工智能大会(WAIC)上,多个“中国版Sora”亮相。

快手发布了可灵大模型的更新版本,主打时长最高达3分钟;商汤推出了最新的人物 AI 视频模型 Vimi,主打技术的“可控性”;阿里达摩院发布AI视频创作平台“寻光”,主打剧本创作辅助。

虽然AI生成式视频久违地热闹了一番,但整体掀起的水花并不大。尽管对谁才是中国版Sora的争夺从未停止,得到业内普遍认可的产品仍未出现,但快手成了最新的变数。

无论是技术路线,还是视频时长、生成效果,快手的可灵大模型似乎最像Sora。

“甚至我觉得也吊打了Sora,我认为这个产品今天,在我能使用的范畴内就是全世界第一的。”在测试快手可灵后,猎豹创始人傅盛不吝赞美。

值得注意的是,傅盛提到了“使用范畴”。眼下,国内AI视频的玩家有限,Sora又始终保持神秘,某种程度上“衬托”出了快手可灵的相对优势。

「国产 Sora」又来了?

在Sora发布的几天前,张楠宣布辞任抖音集团CEO,亲自带队转战剪映,寻求在AI视频的突破。

同为短视频平台巨头,快手长期被抖音压过风光,在大模型时代,外界也惯性般对抖音寄予厚望,将其视为狙击Sora的种子选手。

就在人们翘首以待,张楠会交出怎样的成绩时,快手CEO程一笑却“截了胡”。

被Sora吊足了胃口的国内外网友们,被快手可灵的demo效果惊艳到,在线求试用名额。至少在国内的AI生成视频领域,这是少见的情况。

据快手透露,可灵大模型上线一个月以来,累计申请用户数50万+,开通用户数30万+,生成视频数700万。

被外界赋予“中国版Sora”的产品不少,但快手可灵最担得起该称号的吗?

先从技术路线说起,快手可灵的架构采用了类Sora的DiT结构,即以Diffusion和Transformer结合的方式,替代了传统扩散模型中基于卷积网络的U-Net。

Transformer具有较好的可拓展性,其结构会随着模型的增大,效果会持续变好。而U-Net会在模型增大到一定范围时,所受的增益效果放缓甚至停止。

Sora能在AI生成式视频实现质的飞跃,正是技术底层架构的巧妙选择。阿里巴巴达摩院的分析认为,Sora 的智能涌现,体现在其三位一致性、长距离连贯性和物体持久性、与世界互动的能力、对数字世界的模拟。

可灵也似乎能生成如Sora效果般的视频,真实还原物理世界。例如,一个人吃汉堡时,嘴角容易沾上酱料,汉堡留下咬痕。在可灵官网展示的demo中,小男孩吃汉堡的动作、神态均比较自然。

国外网友@Garry Tan 看到这条视频后,直呼“Oh man this is me.(天哪,这就是我!)”

(prompt:一个戴眼镜的中国男孩在快餐店内闭眼享受美味的芝士汉堡,图源官网。)

但在细节的处理方面,快手可灵仍展现出与Sora的明显差距。

傅盛曾用快手可灵模仿Sora气球人的视频,在一些镜头中,不难发现气球里还有人头。且就气球本身来说,Sora的气球透明度非常自然,和现实中的气球一模一样。而可灵的气球被撑得很大,在阳光下几乎看不到透明度的变化。

(图源@傅盛讲AI)

此外,Sora能够接受提示词、图像乃至视频作为输入,大模型将根据用户的输入来生成视频。多样的输入选择背后,是OpenAI多模态大模型的支撑。

由于Sora有OpenAI文生图模型DALLE3的加持,可将许多没有文本标注的视频自动进行标注,用于视频生成的训练。

同时,ChatGPT也可以把用户的输入扩写成细节更详细的描述,有效帮助Sora提取和理解用户的需求,使生成的视频更符合用户预期。

举个例子,输入“女性在商店购物”,ChatGPT可能会扩展联想到女性的衣服、商店的装饰、购物的类型等信息。

在这方面,快手可灵就不容易直接“复制”Sora了。

快手旗下的通用语言大模型“快意”,功能远不如GPT,在国内大模型梯队中,其存在感也较弱。快意对可灵语义理解上的助力,很可能是有限的。

目前,快手可灵支持文本输入、图片输入,另支持多种控制信息输入,如相机运镜、帧率、边缘/关键点/深度等,但没有提供视频输入的功能。

“生死线”变迁

以Sora横空出世为分界线,AI生成视频领域被划成分“10秒以内的时代”,以及“60秒及以上的时代”。

此前,国内没有一个产品,可以把视频做到10秒,10秒也成了衡量产品的“生死线”。

火爆全网的AI 视频生成应用Pika,在去年11月末正式发布,比Sora早几个月,仅能生成长度为3秒的24帧视频。

如果存在时长超过10秒的产品,基本是拼接起来的视频。

代表产品有百度AI文生视频的功能,自动根据文字内容,帮助寻找合适的视频素材,再输出视频,实质是对现有素材的拼接,没有涉及生成新的视频内容。

也有让单帧的图片“动”起来的文生视频技术,代表产品有阿里的EMO模型,输入声音和图片后,比如输入一首歌与人的照片,就能生成人在唱歌的短视频。

上述产品都只是“从有到有”,而Sora带来了文生视频技术真正实现了“从无到有”,直接跃升至“构建现实”的新高度。

Sora发布后,“生死线”延长至60秒。被震撼和刺激到的国内厂商,开启了追赶之路。

Pika 创始人郭文景表示,“(Sora)是一个振奋人心的消息,我们准备直接冲,将直接对标Sora。”经过几次更新,目前Pika把画面延长至4秒,只够做成表情包。

第一个跨越10秒“生死线”的企业,是背靠“清华系”的生数科技,旗下Vidu大模型4月首次亮相时,可以生成16秒视频,赢得了“中国版Sora”的称号。不到2个月,Vidu又宣布实现32秒视频的升级。

第一个跨越10秒“生死线”的大厂,是腾讯旗下的混元大模型,也是能生成16秒视频。

而抖音集团旗下的Dreamina(即梦)有所掉队,目前只支持生成3秒视频。

1秒的延长,往往意味着技术路线、训练数据等环节的大量研究与优化。单是训练素材,视频比文体、图像都更紧缺,收集、清洗、标记的难度更大。

套用Sam Altman 解释为何 GPT 会比其他的大模型更好的理由,是因为 OpenAI 堆了“一百万个小技巧”。

腾讯混元大模型能跨过10秒门槛,主要是全面升级了基础架构,由传统的U-Net改为DiT架构,参数量提升十几倍等。

快手可灵起初是支持2分钟视频,通过增加频续写功能,成功延长至3分钟。但快手可灵开放的内测,只支持生成几秒的视频。

视频长度与连贯性高度相关,国内视频大模型长期在10秒内止步,便是无法做到在确保时长的基础上,兼具人物和场景、前后语境逻辑等方面的连贯。为了画面流畅度,厂商宁愿放弃时长。

比如,当一个人遛狗,狗怎么走路?遇见路人时会有什么反应?人和狗移动时周边环境如何同步变化?我们在日常生活中习惯的场景,放在虚拟世界,却是极其复杂的问题。

“可灵肯定是一个非常复杂的,重资源投入,多兵种协作的复杂项目,肯定不是一个单一的天才的想法随便搞出来的东西。”快手视觉生成与互动中心负责人万鹏飞表示。

冷静的战场

ChatGPT发布后,国内大厂争先恐后上线通用语言大模型。不到两年,该领域就已历经“百模大战”、“开源与闭源之争”、“价格战”,百度、阿里、腾讯、字节、华为集体亲自下场交锋,火药味十足。

而AI生成视频要冷清得多,当OpenAI抛出Sora这一“王炸”后,讨论热度依然高居不下,但在产品数量上,国内没有重现语言大模型的盛况。

只有字节的海外版剪映跟进推出了文生视频产品的测试版,且反响不佳。有网友反馈,生成一个视频得等约1800分钟。

资本也把主要的热情分给通用语言大模型,同样是初创公司,Kimi的月之暗面估值超200亿人民币,生数科技估值刚超过1亿美元。

即便是可灵,对快手拉高市值也没有什么影响。6月以来,快手的股价持续下跌,7月12日才稍有起色。

然而,这并不代表大厂对视频缺乏兴趣,只是换了种玩法。

“App工厂”字节继续做擅长的事,用应用的方式打开AI生成视频,推出了即梦App,约两分钟就能生成了3 秒的视频,进步显著。要延长3 秒,则需购买会员。

腾讯在上线自研混元大模型的同时,也发布了文生图大模型,并且全面开源,可以免费商用。

百度倾向于寻找优质的投资标的,早看中了生数科技,华为、阿里也参与押注。

玩法变动背后,是国内厂商考验性价比的结果。光卷文本大模型,大厂都有些分身乏力。

由于Sora完全闭源,OpenAI对技术细节守口如瓶,让竞争对手难以“抄作业”。

算力荒为另一大痛点,哪怕大厂有资金、技术的绝对优势,在AI时代,无论公司规模大小,都是创业者,很难轻易全力投入。

中信证券曾简单估算,一个60帧的视频(约6—8秒)需要约6万个Patches,以去噪步数为20计算,相当于要生成120万个Tokens。考虑到扩散模型在实际使用时需要多次生成的特点,实际计算量会远超120万个Tokens。

业界也流传,Sora 的参数规模在 100亿到 300亿之间,所需的算力或与千亿级的大语言模型差不多。

这意味着,同等参数的视频模型,所需的算力比大语言模型多几十倍。

何况,不像语言大模型已指出较明确的B端商业化路径,视频大模型还在摸索阶段,甚至连全面公测都有较远的距离。快手可灵也暂无商业化计划,不对外提供API。

OpenAI CTO 曾指出, Sora 拟2024 年年内对外推出。

OpenAI向来不打无准备的战,届时Sora的开放,或又是进一步盘活国内AI生成视频赛道的鲶鱼。

说明:数据源于公开披露,不构成任何投资建议,投资有风险,入市需谨慎。

本文来自微信公众号“懂财帝”(ID:znfinance),作者:嘉逸,36氪经授权发布。


Copyright © 2024 aigcdaily.cn  北京智识时代科技有限公司  版权所有  京ICP备2023006237号-1