每经编辑：黄胜,宋欣悦
2月15日， 美国人工智能公司OpenAI发布了最新“文生视频”大模型Sora，并附带发布了由它生成的48段视频，引发了整个市场的高度关注。Sora生成视频的画面逼真、连贯流畅，在视频时长方面，也远远领先于其竞争对手，一度被视为吹向好莱坞的一场大风暴。
在Sora公布的作品中，一部名为《气球人（Air Head）》的短片，因情节完整、叙事性强，引发广泛讨论。在国内外各大平台上，网友们更是毫不吝啬地夸赞这部作品，甚至有人誉之为“Sora史上最佳发布”。
然而，近日，《气球人（Air Head）》制作团队Shy Kids在接受在线媒体平台Fxguide的采访时，基于他们使用Sora的亲身体验，揭示了Sora在视频生成方面的局限。
Shy Kids揭露，《气球人》这部短片，是三人耗费近两周才完成，后期工作量只增不减。
图片来源：截图于fxguide
用户界面仅支持文本输入
在Sora的用户操作界面中，艺术家可以输入文本，随后ChatGPT会将这些文本转化成更长的一段文字，从而触发生成一段视频。然而，Sora目前并没有支持其他输入方式，也没有实现多模态功能。这是一个重要的短板，因为尽管Sora在同一镜头中的物体一致性处理得还不错，但系统目前还无法确保第一个镜头中的内容与随后的镜头完全匹配。也就是说，即便我们第二次输入同样的提示语，结果也可能不同。
帕特里克在Shy Kids制作团队中，负责后期制作，他说：“我们能做的就是，在提示中尽可能对角色的服装以及气球的类型进行详细地描述。”
Sora生成的每个独立片段，就其所代表的技术而言，都是令人惊叹的。然而，如何有效利用这些片段，取决于用户对 Sora隐式或显式镜头生成方式的理解。
例如，假设你让Sora生成一个在厨房中的长跟踪镜头，并确保画面中的桌上有个香蕉，Sora 将依赖于其对“香蕉”这一概念的隐式理解来生成一个显示香蕉的视频。通过训练数据，Sora学习了香蕉的隐含特性，如“黄色”、“弯曲”、“有深色末端”等，但它并未存有具体的香蕉图像，也没有一个“香蕉图像库”，它只有一个相对较小、用于压缩存储的“潜在空间”。在这个空间中，“香蕉”仅仅是一个抽象的概念。
这就意味着，每次生成的结果都是Sora对这个“潜在空间”的一种新的解读，这就需要我们的提示尽可能精确地描述我们对这些隐式特征的理解。
靠后期制作，保持角色“Sonny”的一致性
Shy Kids团队表示，在制作《气球人》的过程中，很难确保实际黄色气球人在每个镜头中保持一致，《气球人》中场景，是通过多次后期剪辑来接近剧本的。即使团队明确要求生成一个黄色气球，但最后生成的气球却可能是其它颜色，有时，气球上甚至会莫名出现一个脸部图案。另外，因为很多气球都带有绳子，Sora自动将“气球”和“绳子”关联到了一起。在《气球人》中，角色Sonny的衬衫前面总是垂着一条绳子，这些绳子都需要在后期制作中移除。
带有脸部图案的气球人 图片来源：fxguide
视频分辨率较低 渲染时间长
虽说在《气球人》的制作中，Shy Kids团队使用的都是Sora所生成的画面，但大多经过了调色和再处理。帕特里克解释说，Sora最高可以支持720P的分辨率，1080P分辨率也已经推出，但渲染时间过长，为提高前期效率，团队都是在较低分辨率下生成的《气球人》的所有制作内容，后期再通过Topaz软件去提高分辨率。
Sora所生成的视频片段，能以不同的时间长度进行渲染，如3秒、5秒、10秒、20秒，最长可达一分钟。渲染时间会根据一天中的时间和云服务的需求而有所变化。帕特里克回忆说：“通常情况下，每次渲染大约需要10到20分钟。渲染的段落长度对实际渲染时间的影响并不太大。如果渲染的内容长度在3秒到20秒之间，实际所需的渲染时间通常都在10到20分钟这个范围内。”他解释说：“我们之所以会这样做，是因为，如果获得了一段完整的20秒视频，我们就有更大的机会进行剪辑操作，这也相应地增加了得到满意成果的可能性。”
时间控制不精确 焦点过于固定
尽管可以在时间线上对关键帧进行调整，但对于动作发生的确切时间点控制并不精确，结果具有一定的不确定性。帕特里克说，“这有点像摸黑射击，就像老虎机一样，不确定它是否能在此时实现这些效果。”当然，Shy Kids使用的是Sora的最早原型之一，而Sora仍在不断地进行改进。
除了选择分辨率外，Sora还允许用户选择画面比例，如纵向、横向（或正方形）。这在从Sonny的牛仔裤向上扫到他的气球头的镜头中派上了用场。不幸的是，Sora原生不支持这样的动作，它总是希望镜头的主焦点——气球人——始终处于画面中。因此，团队选择了纵向模式进行渲染，然后在后期通过裁剪手动创建了向上扫描的效果。
Sora生成的镜头需要后期手动裁剪 图片来源：fxguide
难以理解和执行镜头运动指令
Sora 在理解和执行镜头运动指令方面，如“跟踪”、“平移”、“倾斜”或“推进”等，其理解和执行能力尚待加强。尽管用户可以输入如“相机平移”的提示，但 Sora 并不总是能够准确执行。
帕特里克提到，Sora在处理摄像机角度方面的处理似乎有些随意。“OpenAI的研究人员并没有真正像电影制作者那样思考，更多的是在专注于图像的生成，而对于能否真正接收到或理解摄影指令这个问题，他们似乎没有太多考虑。”
但目前，几乎所有视频生成AI公司都面临这个问题。Runway AI或许在提供描述摄影机动作的用户界面方面最为先进，但Runway的渲染剪辑的质量和长度都不如Sora。
素材与成品比例300:1
虽然所有图像都是在Sora中生成的，但气球仍需大量的后期处理。除了隔离气球以便重新上色，有时气球上会出现Sonny的脸，看似用马克笔画上的，这需要在AE（After Effects）中删除。类似的其他瑕疵也常常需要移除。
Sora生成画面 图片来源：fxguide
后期处理画面 图片来源：fxguide
Shy Kids的方法类似于纪录片的后期制作和剪辑方式，先积累大量的镜头，然后从这些材料中编织故事，而非严格按照剧本拍摄。虽然短片有剧本，但团队仍需保持灵活并进行调整。“我们就是获取大量的镜头，并尝试以一种有趣的方式将其剪辑到旁白中，”帕特里克回忆道。对于最终进入电影的一分半钟的镜头，帕特里克估计他们生成了“数百个生成片段，每个片段10到20秒”。他补充说：“我的数学不好，但我猜源材料到最终成片数量的比例，大概是300:1。”
拍摄合成和重新定时
在《气球人》里，团队并没有将多个镜头合成在一起。例如，气球在赛车上空漂浮的镜头都是在一个镜头中生成的。
有趣的是，许多《气球人》的片段生成时，就像是慢动作拍摄的，尽管这并非提示中要求。这种情况发生的原因不明，因此许多片段不得不重新调整时间，使其看起来像是实时拍摄的。显然，这比减慢快速运动更容易做到，但这确实也奇怪，可能是从训练数据中推断出来的。“我不知道为什么，但似乎许多片段的速度在50%到75%之间，”他补充说。“因此，我们需要相当多的时间调整，以防止整个项目感觉像是一个大型慢动作项目。”
场景照明和色彩分级调整
Shy Kids在他们的提示词中使用了“35毫米胶片”这一术语，发现这样的提示能带来较高一致性的画面效果。“如果我们需要高对比度，我们可以输入‘高对比度’、‘主光’，Sora通常会给我们接近所需的效果，”帕特里克说。“但我们仍然需要进行完整的色彩调整，并且我们进行了自己的数字电影外观处理，我们在其中添加了颗粒和闪烁，以某种方式将一切融合在一起。”Sora目前没有提供额外的通道选项，如遮罩或深度通道。
版权带来的提示词限制
为了尊重作品的版权，OpenAI设定了一些规定和限制。举例来说，如果你给Sora一个像是“在一个未来的飞船上，一名男子手握光剑走了过来。”这样的提示，并期望生成类似《星球大战》的场景，Sora会拒绝生成这样的视频。Shy Kids团队在早期测试中，偶然遇到了这一问题。帕特里克回忆说，当他们最初坐下来测试Sora时，拍摄了一个角色背后的镜头，类似阿罗诺夫斯基式的跟随镜头，他在Sora上输入了“阿罗诺夫斯基式镜头”，但Sora为保护原作版权，拒绝了这个提示。
总结
Sora是一个引人注目的“文生视频”大模型项目。Shy Kids团队仅用大约1.5至2周的时间，由3人组成的团队制作了爆火短片《气球人》。目前，该团队已经在制作一个自我意识强烈，或许带有讽刺意味的续集。“续集将从新闻角度出发，聚焦到气球人Sonny，以及他对名声的反应和随后与世界的决裂，”帕特里克说。“我们还在探索新技术！”团队希望在他们的实验中更加技术化，将Sora元素与真实的实景拍摄进行AE合成，并使用Sora作为辅助的视觉效果工具。
Sora是一项非常新的技术，即使OpenAI已经为Sora勾勒出基本框架并展示了其应用，这些框架也尚未开放给早期测试者使用。Sora目前的形式似乎不太可能很快发布，但它在某种类型的隐式图像生成方面已经有了显著的进步。对于高端项目来说，可能还需要一段时间才能满足导演要求的具体化程度。对于许多其它项目来说，它已经“足够接近”，并能产生令人惊叹的图像。《气球人》仍然需要大量的编辑和人为指导，才能制作处这个引人入胜且有趣的故事短片。帕特里克说，“我只是觉得人们必须将Sora作为他们流程的真实部分；然而，如果他们不想参与这样的事情，那也没关系。”
每日经济新闻综合公开资料
每日经济新闻