一夜之间,AI 视频生成模型最高的山再次易主。
就在刚刚,一个比 OpenAI Sora 更真实、更流畅的 AI 视频生成模型 Dream Machine (造梦机器)横空出世。
顾名思义,电影是造梦的艺术,而 Dream Machine 正是这一艺术形式的诠释工具。
网友们在目睹了 Dream Machine 的演示后,无不被其惊人的效果所折服,大呼其背后的 Luma 公司就是 AI 视频生成领域的新王者。
简单介绍一下 Dream Machine 的特点:
120 秒生成 120帧,动作逼真连贯
角色一致性极强,能够模拟物理世界
运镜流畅自然, 情感匹配场景
而且,与 OpenAI Sora 光看不能用的「期货」不同,Dream Machine 大方地向所有用户敞开了免费体验的大门。
附上体验地址:https://lumalabs.ai/dream-machine
比 Sora 还强?一键打造专业级大片
先来感受一下官方放出的演示 Demo。
文字与视频的转换,在这里达到了一个新的高度。赛车追逐的紧张感和镜头的流畅切换,让人仿佛能感受到风驰电掣的速度,每一个画面都充满了动感和张力。
Dream Machine 的能力不仅限于文字到视频的转换,它还能够将静态图像转化为动态视频,整个过程一气呵成,展现出强大的 AI 视频生成能力。
在 Dream Machine 的手中,即使是复杂相机运动也能稳定执行,简直是为电影级别运镜量身定制。
瞧瞧墙壁上的字体,光线的微妙变化,如果说 Sora 生成的视频还有点 AI 味,那这个模型几乎分辨不出 AI 与人类的边界线。
只需轻轻输入几个提示词,Dream Machine 就可以轻松实现电影级别的运镜,这无疑为视频创作者提供了极大的便利。
Dream Machine 还是个精通各种风格的多面手,漫画滤镜也都信手拈来,让人分不清是 AI 的手笔还是电影的截图。
与艺术家合作生成的「怪物营」短片,虽然只有短短 1 分 14 秒,却让人感受到动画里的奇妙世界,回味无穷。
APPSO 也第一时间上手体验了一番,但截至发稿前,由于服务器过于火爆,要求生成的视频仍在「转圈」排队。
据官网介绍,作为一个高度可扩展且效率极高的 Transformer 模型,Dream Machine 直接在视频数据上进行训练,这使得它能够生成物理上精确、连贯且富有故事性的画面。
生成速度?那也是 Dream Machine 的拿手好戏,每 120 秒就能生成 120 帧画面,眨眼之间,帧帧精彩。
并且,Dream Machine 能够创造出 5 秒钟的逼真视频片段,效果直逼好莱坞大片的预告片,情感张力满格。
Dream Machine 的核心优势之一在于其对人类、动物和物体在物理世界中互动方式的深刻理解。这使得它能够创造出角色表现一致且物理效果精确的视频内容,进一步增强了视频的真实感。
想要哪种镜头语言?Dream Machine 统统一网打尽。
从各种电影风格,到视角转换,它都能信手捏来,完美匹配创作者想要表达的情绪和场景氛围。
不过,Luma 也坦诚地指出了 Dream Machine 目前尚未解决的一些局限性。
图像转换成另一个图像时,不够平滑,比如汽车的变形比较突兀
角色主体(狗)的动作移动偶尔也会稍显僵硬,
文字生成稳定性有待提高,比如 Luma 多了个「m」
图像生成不够稳定,比如北极熊一转身,凭空多出一个头
卧虎藏龙的 Luma 核心团队,还有熟悉的华人面孔
从某种程度上说,Luma 算是跨界打击的高手。
成立于 2021 年的 Luma 最初是一家聚焦于 3D 内容生成的技术公司,主要负责提供 3D 内容生成和 3D 内容重建技术解决方案。
今年 1 月份,Luma 完成了一笔 4300 万美元的 B 轮融资,由知名投资机构 a16z 独家投资。
在官宣融资的公告中,a16z 普通合伙人 Anjney Midha 对 Luma 的评价充满了赞誉:
Luma 的团队聚集了计算机视觉、图形学和深度学习领域的一些最杰出的科学家,他们已经成功推出了被数百万人使用的产品。
我们非常期待与 Amit、Alex 及其团队合作,共同开启这一创新旅程。
再往前翻翻历史,在 Luma 此前 2000 万美元的 A 轮融资中,投资方也不乏英伟达、Amplify Partners、General Catalyst 等知名投资机构。
正当大家伙以为 Luma 要在 3D 模型领域大展拳脚时,Luma 却扔出一个 AI 视频生成模型,让整个 AI 行业都懵圈了。
AI 的发展,归根结底是人才的竞争。
Luma 的这种跨界打击能力,源于其团队的多元化背景和深厚的技术积累。
以联创兼 CEO Amit Jain 为例,他曾在 Apple 的 AR/VR 部门历练多年,在 3D 计算机视觉、机器学习、以及深度技术产品等方面有丰富经验。
联创兼 CTO Alex Yu 毕业于加州福尼亚大学,曾与 Angjoo Kanazawa 教授一同进行 NeRF(Neural Radiance Fields,神经辐射场)相关的 3D 计算机视觉研究。
官网显示 Luma 研究科学家 Thomas Neff 曾在奥地利格拉茨技术大学获得了博士学位,研究兴趣集中在实时图形、虚拟现实和机器学习的交叉领域。
Thomas 的研究成果也颇有建树,包括 DONeRF(2021 年发表在《计算机图形学论坛》上)和 AdaNeRF(2022 年发表在《欧洲计算机视觉会议》上)等。
哦,对了,Luma 的核心团队也涌现出不少熟悉的华人面孔。
首席科学家 Jiaming Song 本科就读于清华大学计算机科学与技术系,后在斯坦福获得博士学位,在加入 Luma 之前,他曾在英伟达 AI Foundations 工作,负责图像/视频/3D 生成模型。
机器学习工程师 Angela Dong 曾在 Drive.ai、Lyft Level 5 和 Zipline 等公司的实习期间,深入了解了自动驾驶技术,后来也加入到 Luma。
AI 视频生成行业实在是太卷了,要知道快手可灵刚坐上 SOTA 的宝座,屁股都还没暖热乎。
结果 Luma 挽起袖子就放了个大招 Dream Machine,一登场就惊艳四方,直接把行业的天花板又往上捅了一大截。
更重要的是,Dream Machine 已经向所有用户免费开放。
这招温柔一刀,也让竞争对手 OpenAI Sora 感受到了前所未有的压力。
接下来的剧本怎么写?全看 Luma 的这把火,能不能把 Sora 「烤」得提前端上桌,让我们这些用户能够及时尝个鲜。
不过,话说回来,这年头,谁还没个导演梦呢?
在这样卷上加卷的大背景下,相信在不远的将来,人人都能当导演的时代就来了。