AI生成视频应用接连落地 AI大模型向影视化创作进阶
AIGC的触角正在向影视创作领域深处延伸。
2023年初,首支AIGC动画短片《犬与少年》在Netflix上线,这部通过AI技术绘制完整动画场景的短片被看作是AIGC应用于商业动画电影制作的里程碑作品。时隔一年,AIGC软件A股上市公司万兴科技发布借助万兴“天幕”大模型文生视频能力创作的AI短视频《迷失上海》,通过更低门槛、更高效率的创作方式,再次展示了AIGC在影视创作领域的广阔想象空间。
万兴“天幕”大模型生成视频《迷失上海》截图
进入2024年,AI生成视频技术能力日渐加强,AIGC技术正在以更快的速度渗透影视产业的各个环节,以技术革新带动影视生产效率提升,推动影视行业进入下一个黄金时代。
深入影视创作“全流程”
AIGC这把技术新火,正在从文生文、文生图燃到以文生视频、图生视频为代表的AI生成视频领域,往更高维度赋能影视创作。
相较于文生文与文生图,AI生成视频能够融合文本、图像、听觉及动态视觉等多维信息,仅用文字或图片就可以生成目标场景和故事情节,不仅能进一步提高生产效率,还能覆盖影视产业中更广泛也更核心的制作流程,为影视创作提供更直接的助益。
不过,信息丰富度的指数级倍增,也决定了AI生成视频与文生文、文生图的发展节奏并不“同频”。
首先,AI生成视频模型对数据样式、数量和质量都有更高要求,数据库的缺乏在一定程度上使其发展相对滞后。同时,视频内容除了要考虑空间信息,还要新增时间维度的信息,高维度视频数据建模所涉及的技术融合难点、计算难度及推理能力更复杂,所生成的视频质量也需要更长时间的训练沉淀才能达到理想预期。
因此,当文生文、文生图爆火已将近一年,全球AI视频技术才终于迎来发展拐点——2023年底,Pika、Runway、谷歌、阿里、字节、万兴科技等科技企业竞相亮剑,为AI视频领域连续注入强心剂。
文生视频方面,Pika1.0、Runway Gen-2、谷歌VideoPoet、字节跳动MagicVideo-V2的相继发布,都在为赛道持续加温。图生视频方面,阿里基于视频生成模型Animate Anyone在通义千问上线的小游戏“全民舞王”是一项典型应用,用户只需上传一张静态图片,无论是拿破仑、兵马俑还是奥特曼,都可以自动生成舞蹈视频,具备一定的可玩性和社交传播性。
Pika官网首页截图
值得注意的是,目前已发布的视频类大模型的大多为单一模态呈现,未能实现多媒体功能的横向覆盖,而近期备受关注的万兴“天幕”大模型则具备多媒体全方位的视频创作场景生成能力,为大模型影视级应用打开了更开阔的想象空间。
据了解,万兴“天幕”由视频大模型、音频大模型、图片大模型、语言大模型组成,是国内首个专注于以视频创意应用为核心的多媒体大模型,具备一键成片、AI美术设计、文生音乐、音频增强、音效分析、多语言对话等核心能力。面对影视化的创作需求,万兴“天幕”大模型不仅能帮助视频创作者快速生成动态化的分镜、角色、场景、音效,还能通过光影效果营造特定的画面情绪氛围,通过实现“文声视效”的全方位适配,助力影视化创作。
可以预见,AIGC技术焦点从“文生图”向“图生视频”“文生视频”的转移,将进一步推动AIGC技术在影视行业的渗透。当前,AIGC技术的应用价值已经从剧本创作、角色设计加快延伸至特效制作、场景绘制、后期剪辑等环节,覆盖影视创作全流程,为影视产业注入全新的发展活力。
推动影视产业“提质增效”
AIGC对影视产业的影响无疑是广泛而深刻的。梦工厂创始人杰弗里·卡森伯格曾在2023年公开预测:“生成式AI将使动画电影的成本在未来3年内降低90%,该技术将给媒体和娱乐行业带来彻底的颠覆。”
从影视工业化的视角来看,AIGC确实能够凭借强大的内容生产效率为影视工业带来“质变级”的降本增效。
一方面,影视作品制作过程中繁复的工作内容可以得到简化。例如,科幻巨制《吞噬星空》全片共有1.8万多个场景模型、1.2亿多总面,《全职高手》剧中线上世界部分有45万帧画面,创作工作涉及50种岗位,需要动用500余名工作人员……这些科幻、奇幻类影视作品在场景模型搭建与美术效果设计的过程中往往会产生极大工作量,而这些环节都有机会借助AIGC技术提升制作效率和质量。
Wondershare Filmora视频案例展示截图
另一方面,AIGC能够降低影视创作门槛,降低灵感变现的成本。无论是基于过往海量优质剧本数据发散生成新的故事剧本、创造史无前例的画面表现形式,还是辅助普通大众尝试影视化的内容表达,都能以极低的成本激发影视创作的更多灵感,为影视行业提供源源不断的创新活力。
近日,万兴科技旗下视频创意软件 Wondershare Filmora便在2024 CES上展示了AI技术在视频剪辑领域的最新应用成果。据了解,Wondershare Filmora 13内置创作助手Copilot,拥有AI文本成片/AI音乐生成器等AI生成功能,以及AI文字快剪/智能人声分离/AI智能遮罩等AI智能编辑功能,从内容生成、音视频剪辑到交互方式都实现了AI化,实现进一步降低视频创作门槛、释放创作生产力,推动视频内容创作加快迈入AI新时代。
回望全球影视产业的发展史,从黑白到彩色,从模拟制作到数字化制作,从电影院到流媒体平台,每一轮技术变革都会带来创作形式的再创新、内容生态的再丰富。目前看来,AIGC极有可能推动影视产业走向下一轮革命,而伴随当前文生视频、图生视频等AI生成视频技术应用的创新迭出,这一进程有望在2024年明显加速。