上影将探索中国动画学派大模型：面对Sora，影视人无惧挑战
近日，OpenAI发布文生视频模型Sora，不少人认为该技术可能颠覆影视行业。就在这之后几天，由中央广播电视总台制作的中国首部文生视频AI动画片《千秋诗颂》于2月26日起开播。2月29日上影集团在上海影城SHO发布“iNEW新战略”，回应Sora引发的强劲AI新浪潮。去年开出首个AI电影课的上海温哥华电影学院也在研究这学期如何在该课程中融进Sora。这似乎都在昭示着“未来已来”。
“勇立潮头·2024上海电影焕新启航”战略发布会。 赖鑫琳 摄
尽管很多人觉得将来只需要在Sora里输入分镜脚本，电影就可以制作出来，不再需要几百人声势浩大地拍摄，但从目前发布的演示视频来看，业内人士对AI所谓“颠覆影视行业”说法并不担心。关于如何运用好AI这项工具，创造新的机遇，他们有更多思考。
Sora引发行业关注，但离做电影还差很远
“以前我们以为，AI要做到这种效果需要大概五年或者更长时间，没想到如今它已经完成得这么好。”看到前不久公开的Sora演示视频，上海温哥华电影学院电影制作系高级讲师奥黛·阿瓦迪亚直言“很棒”，“以前我们使用其他AI时，会发现它在镜头设计、构图、景深等方面还达不到专业领域的要求，从演示中能看出Sora已经可以执行更精准的技术上的指令，这对于专业电影制作人来说是很好的事情。”
上海温影为广告行业从业者开设的AI公开课上，奥黛·阿瓦迪亚在跟学员讲述如何使用Midjourney辅助创作
上海温影为广告行业从业者开设的AI公开课上，奥黛·阿瓦迪亚在跟学员讲述如何使用Midjourney辅助创作
在上海温哥华电影学院3D动画系主任徐一然看来，相比以前的视频AI，Sora的突破是连贯性更好，这种进步更多是由算力提升带来的。比如一段视频里人物的长相保持不变，当猫咪碰到周围的花草时，会产生逼真的物理反应等，这些都可以看出AI是真的在理解这个世界，而不只是在分析图像。
“Sora目前还在内测阶段，通过OpenAI释出的视频资料，被公众认为是目前文生视频领域最好的模型，体现了OpenAI Sora领先的技术实力与公众对文生视频技术的热切期待。”除了影视行业，同样涉及视听内容生产的游戏行业，也是密切关注并正在运用AI提高生产效率的行业之一。在盛趣游戏艺术专家委员会执行主席、美术中心美术总监林蕤看来，Sora的出现代表着AIGC技术继续深化赋能游戏行业的可能性，“Sora会影响行业的视频资源生产管线的搭建，替代掉一些原有的生产工具。”
林蕤认为，AI在游戏制作中是全面赋能的方式，“除了美术资产的生成外，还进入了资产管理、音乐音效、文案、编程、数据分析等领域。”
不过，Sora离所谓“颠覆影视行业”的程度还很远。“真的要拿Sora去做电影，至少还需要几个版本的迭代”。徐一然认为，从目前的演示视频来看，Sora的连贯性还达不到标准，它对于真实世界的理解能力也是有限的。“Sora对于普通用户应该是更好的选择，但对于专业制作公司来说还达不到要求。”
Sora演示视频
Sora演示视频
相比真人影像，Sora在动画上的表现力更差。比如“一个机器人在赛博朋克背景下生活的故事”视频里，机器人几乎没有动作，依靠镜头旋转来实现动态。徐一然发现，Sora在狗、猫等学习素材比较多的内容上处理较好，而对于一些“非人”的东西，目前它还不知道该怎么动。“AI还处于学习这个世界规则的阶段，离创造规则还很远。而且，由于AI的学习材料有限，自由生成风格化的定制动画有可能更困难。”
Sora演示视频
Sora演示视频
在这些宣传视频里，有一个“时尚女性走在充满霓虹灯和城市标牌的东京街道”视频引起了他的注意。画面开始以中景呈现，十几秒后突然转入该女性的脸部特写。尽管衔接不算太自然，但在徐一然看来，这是“最像人”的一个视频。“第一，AI能理解人物的脸要保持不变；第二，AI能理解水面倒影和上面的建筑是同一个东西，这是以往做特效时需要人来处理的；第三，画面中出现了剪辑，它明白需要突出人物主体，某种程度上有了镜头语言，这是比较可怕的能力。”
Sora演示视频
Sora演示视频
不过，在Sora的演示视频里，目前只有这一个视频出现了剪辑行为，还无法判断Sora是否已经理解了剪辑。
在林蕤看来，目前AIGC技术还在持续成长，离迭代全生产管线还有一段距离。“一些优秀的业者利用现有的工具已经完成一些小型作品，对行业产生了很好的提振作用。然而无论是影视还是游戏行业，到目前为止还没有纯粹由AI完成的大型作品发布。期待早日看到这些作品的面世。”
AI让影视人才失业？也许是带来更多机会
面对Sora带来的巨大冲击，上海电影人已经率先行动起来。
“最强春节档”之后的开工第一天，上影集团董事长、上影股份董事长王健儿走访上影股份、美影厂一线员工，意外的是，现场的最热议题并非“最强春节档”，而是Sora。“Sora对我们影视行业而言犹如一场风暴，整个行业都在密切关注或者采取行动。”
在2月29日的发布会现场，王健儿围绕“一星三化”诠释了iNEW战略，包括启动上影“iPAi星球计划”（i）、升级上影网络数智化（Network）、扩张一体化（Expansion）和生态全球化愿景（Worldwide）。“在科技变革的关键阶段，上影必须认清趋势，集聚人力、物力、财力、算力，突破新命题，积极抢占新赛道。”
上影集团董事长、上影股份董事长王健儿发布iNEW战略 （上影集团提供）
率先落地的先导行动里，“探索中国动画学派模型”尤为引人关注。王健儿介绍，将利用600多部优秀中国动画学派作品的IP资源、数据资源等，结合AI技术来加快研究训练具有中国动画学派特色的大模型体系。“我们也得到了国家人工智能实验室以及海内外一些合作伙伴的支持。”
有了中国动画学派模型，将来是否可以用AI拍《黑猫警长》《天书奇谭》续集？“目前还不能断言”，王健儿表示，AI的确会根据所“喂”数据的类型、风格生成相关视频，但新科技中有许多不确定性因素，研究目的更多是希望通过新技术延续、弘扬中国动画学派和中国传统美学风格，借助新科技的力量把中国动画产业做得更大，让它走得更远。
“上影全球创造者计划”先导项目“上影AI电影马拉松大赛”也在发布会现场宣布启动，该项目将在全球范围内挖掘和培养“影视+AI”“IP+AI”方向的国际化创作者。上影计划开放拥有45周年历史的经典IP《哪吒闹海》，面向全球进行为期3个月的AI二创作品征集，涵盖短片创作、产品设计等。大赛由《中国奇谭》总导演陈廖宇担任艺术总监，新锐导演张末等担任大赛评委，计划于2024年上海国际电影节期间完成评选颁奖。上影将为获奖选手在完片保障、发行渠道及产品商业落地等方面提供切实支持。报名学员里，不少来自数学、法律等非影视专业，AI帮助这些创作者打破了影视制作的高门槛限制。
上影AI电影马拉松大赛启动 赖鑫琳 摄
“最近经常听到的一个话题是，我们会不会被AI代替？其实这是大可不必担忧的，大家之所以能看到一个好的艺术作品，更重要的在于它的创作过程。”陈廖宇表示，创作者的思想和独特性更多是过程赋予的，AI不过是换了个工具，创作主体还是人。
在上海交通大学媒体与传播学院研究员、纪录片中心主任陈亦楠看来，Sora的出现好比当年照相机的诞生。“在西方美术史发展到文艺复兴时期，肖像画应运而生，后期更是到了登峰造极的境界。随后照相机诞生，但绘画艺术并没有因为照相机的诞生就此没落，反而催生了诸如印象派和野兽派这样更多的艺术流派。”陈亦楠说，“Sora把虚拟世界描绘得无比清晰，但它会摧毁整个影视行业吗？答案一定是否定的。”
奥黛同样给出否定的答案，“电影就像是服装里的高级定制，需要专业人员精工制作。”她表示，尽管有人觉得依靠AI输入文本就可以“拍”电影了，但其实在整个电影制作中，“拍”只是一个步骤。电影制作中有大量需要前期筹备的内容，比如做故事构架、人物服装设计、美术概念设计、场景建构等。“AI只是我们能够利用的一项工具。”
“AI的替代方向比较奇怪，它是从人类金字塔的顶端自上而下替代的。比如电脑特效里，Houdini爆炸特效是最难创作的，但如今AI做起来反而比较容易。它可以创作手绘河流、模拟现实中复杂的分支流向，但要做一个简单、有风格的动画反而不知所措。”徐一然认为，人类不妨将AI看成是一个外置的大脑，交给它来实现创意。“AI取代一部分人类的工作是必然的，我们应该更加注重创意和审美素养的提升，将一些技术工种解放出来。”
林蕤介绍，据他所知，企业对AI的发展相对乐观，业者群体的心态比较复杂，“学习焦虑和跃跃欲试都有，总体来说认为需要一段过渡时期打磨验证新的工作方式。先进工具的产生确实会引发精简人力的现象，这种客观现象在历史中不断出现，但每次新的生产方式的变更也会衍生出更多新的职能岗位，对于持续在工作过程中保持学习热情的业者来说，AIGC的出现并不会导致他们失去工作，而更可能由此获得强大的工作助力。”
“并不是有了AI就不需要创作、创意人才，好作品和人才密不可分，上影宝贵的创作人才资源是进入AI领域的重要基础，只不过未来工作侧重点可能有变化。”王健儿介绍，2023年，上影首次启动全球实习生和艺管生计划，吸纳储备了一批海内外青年人才，开始搭建复合型人才梯队。2024年，为进一步放大“iPAi星球计划”的辐射力和向心力，上影在此基础上扩容打造“全球创造者计划”。
进入电影院看一部AI电影，或许指日可待
在小红书上，一组“中美合拍《白蛇传》”的照片引起网友热议，大部分网友都能凭借常识判断这是AI生成的图片，也有人表示“差一点就信了”。有了Sora，这样的“中美合拍《白蛇传》”设想也许真的能“拍”出来。
网友用AI杜撰“中美合拍《白蛇传》”
“如今，已经有人在使用AI制作10分钟左右的电影短片，也许一两年内就真的有人做长片了。”奥黛设想，到时也许只要输入一个指令，比如“上世纪50年代，由杨幂主演，科幻、恐怖类型”，等待20分钟，就可生成一部长片电影。大众也可以利用AI换脸技术，将自己和家人的脸部形象替换到这部电影里，即便身处不同的地方，也可以一起拍一部电影。“现在我们已经能看到大量利用AI让演员说外语的视频，这项技术可能很快会应用在电影行业里。外国观众没有看字幕的习惯，给中国影视剧出海带来困难，有些国家的小语种甚至从没有拍过电影。在AI帮助下，也许很快法国观众就可以看到说法语的甄嬛，西班牙观众可以看到莱昂纳多·迪卡普里奥用西班牙语来表演本土故事。我们应该欢迎并且拥抱AI加入电影创作。”
陈亦楠认为，对于传统纪录片行业而言，Sora可以运用在情景再现部分中，也能弥补CG动画的短板，从而降低制作成本、缩短制作周期，“在好莱坞电影工业中已经有运用AI的实践，我可以预言几年内一定有AI影视作品出来。”
在林蕤看来，照目前AI的迭代速度来看，2024年时长3分钟以上的短片作品会大量出现，如果是院线电影的话可能还需要一两年，“不过谁知道呢？现实总是充满意外，希望早日能进入电影院看一部AI电影。当AI电影出现的时候，证明行业已经基本完成新一轮的生产方式的迭代，算是好消息。”
关于Sora对电影行业的影响，奥黛看到的也是积极的一面。比如，年轻导演可以用Sora将自己的创意视频化，以更好向制片人阐释想法，说服投资方。许多编剧会苦于自己已经完成的剧本得不到拍摄机会，如果利用Sora将剧本生成概念预告片一样的影片，也许会更容易在导演、制片人挑选剧本时脱颖而出。
“即便借助AI人人都能当导演，但没有讲故事和视听语言的训练，做出好片子还是不容易。”徐一然认为，相比电影，Sora更容易颠覆的是短视频领域，当下短视频平台活跃着不少故事类的博主，以往他们需要费力寻找合适的画面去匹配内容，借助Sora的帮助也许可以实现一键生成。奥黛也认为，Sora对于广告、短视频行业可能形成比较大的冲击。
去年，上海温影将AI软件Midjourney引入教学中，教学生如何使用它为自己的短片生成美术概念图、选角参考图、分镜图等，也是沪上电影院校的首个AI电影课。如今，奥黛等人发现，在教学和工作中已经离不开AI。前不久在虚拟摄影棚拍摄毕业作品时，学生们用了Midjourney创建世界观、视觉化形象设计等，还用了Adobe Firefly里的AI扩展图片功能。参与虚拟拍摄的演员通过一款名叫In3D的AI软件扫描建模，大约5到10分钟后，可以生成类似游戏里NPC的数字小人，当一些镜头较远的全景画面需要补拍时，如果演员无法来到现场，可以由这些小人代劳，这项技术在一些剧组里已经投入使用。奥黛还利用一款名叫Notion的软件创建了教学课件的AI数据库，学生可以像使用ChatGPT一样问它课程相关问题，它会立刻给出准确答案，并定位到相关课件位置。
上海温影将AI软件Midjourney引入教学中，教学生如何使用它生成美术概念图、选角参考图、分镜图等
上海温影将AI软件Midjourney引入教学中，教学生如何使用它生成美术概念图、选角参考图、分镜图等
“学校也希望能把这样的AI数据库运用到所有院系中，带来我们内部的教学‘电子工业革命’”，奥黛笑着说，“这一年来AI发展得太快了，一直会有新的东西出现，我有时候都觉得跟不上它的脚步。”但在教学中，她依然有坚持的部分，“我们希望学生掌握如何通过镜头表达情绪、传递情感，引起观众情感共鸣的能力。AI可以帮我们润色一个故事，但核心主旨需要来自自己所经历、所看到的世界，来自对我们真实生活发自内心的感悟。”
“AI能批量生产‘龙傲天’这样的网文，但还创造不了‘阿凡达’。”徐一然认为，艺术跟科学一样，都在拓展人类的意识边界，真正的艺术家应该考虑如何求异，做大家没有见过、没听过的东西，达到拓展边界的作用。“艺术有两个作用，一是传承人类的文化行为模式，一是拓展边界，相信AI在传承方面会有较好的应用前景，但在拓展边界方面，得看它未来能否涌现出更多新能力了。”他认为，应对AI冲击，我们需要加快国产AI大模型的研发，这或许会成为人类以后最重要的基础建设之一。
上海温影为广告行业从业者开设的AI公开课上，奥黛·阿瓦迪亚在跟学员讲述如何使用Midjourney辅助创作
上海温影为广告行业从业者开设的AI公开课上，奥黛·阿瓦迪亚在跟学员讲述如何使用Midjourney辅助创作
奥黛透露，上海温影也在给广告专业人士开设AI短期课程，在去年吸引了不少制片公司、广告公司的从业者学习，今年也考虑在合适时机开设Sora的短期课程，向大众开放报名。“我很喜欢用AI，但它现在的确也带来不少问题。如何加强青少年基础教育，防治AI诈骗等，相比如何应对AI颠覆电影制作行业是更加紧迫、更加值得我们思考的话题。”
前不久，当OpenAI全新发布文生视频模型Sora时，朋友圈刷屏的文章标题赫然写着“现实，不存在了”。不过，陈亦楠看到这个标题的第一反应是“现实更加弥足珍贵了”。“有逻辑的、模式化的东西可以被迭代，但不按逻辑出牌、发生的那些意外才是‘现实’，现实变得更弥足珍贵了，当AI高速发展，非虚构类的价值就更加凸显了。”