当前位置:首页|资讯|提示词|Sora

国内团队发布“视频生音频”通用工具Sora Opera,文生视频解除“静音模式”

作者:娱乐资本论发布时间:2024-03-13

原标题:国内团队发布“视频生音频”通用工具Sora Opera,文生视频解除“静音模式”

作者|James

上周六,文生视频工具Pika宣布可以在生成视频中添加配乐和音效。此外,用户还可以对以前生成的静音视频添加音效。Pika官方表示,视频生成功能现已松开了“静音键”。但要测试这个新功能,用户需要购买Pika会员。

今年3月初,娱乐资本论·视智未来得知国内有团队已经有了“同款”音频生成工具,并且在内部试用了小半年,用于给文生视频的静音画面添加音效或背景音乐。当时,这个应用尚未对外发布。

如今,该技术背后的团队“天图万境”已准备好对外亮相。由他们开发,并与华为云合作部署的这款名为Sora Opera的小工具,将在3月内上线。

天图万境方面也向视智未来提供了Sora Opera项目的体验网址:

http://soraopera.skymaper.com ,将在几天内向公众开放。

产品首先在华为云平台上发布,随后还将推出可在本机运行的开源版本。即使在云端,使用Sora Opera进行视频配音也将是免费的。

Sora Opera还计划提供两项功能:文生音效和视频配乐,不过限于算力成本,云端版本会先提供给其合作伙伴使用。

文本生成音效功能,允许用户输入诸如“刀剑击打声”或“清脆悦耳的鸟叫声”等提示词,以获取相应的音频片段。视频配乐功能则用于生成具有特定旋律、节奏的背景音乐。

Sora Opera的开源版本将在云端上线后一段时间,收集反馈改进后放出。使用本机算力时,视频音效、BGM、文字生音效等功能可以随意使用。

天图万境的创始人图拉古,向视智未来展示了几段Sora Opera的演示视频。这些视频原本是静音的,来自OpenAI发布的演示页面。

通过Sora Opera处理后,视频画面根据模型的想象加入了音效,比如猛犸象的声音、小动物的叫声、帆船在茶杯中航行的声音等。视频的音量和停顿是根据画面的内容来确定的。

对于“一个女子在东京街头走动”的视频,系统还添加了一段具有30年代风格的曲调。

效率方面,“我们在一张1080ti的显卡下,大概是生成4个14秒带音效的视频,需要将近10秒。在3090的显卡下,大概是你感受不到一点等待就完成了。”

Sora Opera的专业版可以支持长达60分钟的完整视频配音,用户还可以将自己拍摄的素材重新导入到Sora Opera里来获得新的音效或者新的灵感。

不仅如此,Sora Opera还具备其它一些特色功能:

它不仅能为AI生成的视频配音,还能为已经存在的视频重新配音。

它可以根据画面来处理非常复杂的内容信息,比如说经过加速处理的视频内容,也可以精准的为其匹配音效。

它可以精准的识别图像的节奏,以及与画面之外可能存在的声像关系,比如除了摸花朵之外的声音之外,还可以听到衣服摩擦的声音。

它可以理解真实世界的声音生产的规则,并尽可能准确的还原这些声音。在咖啡机制咖啡的视频配音时,它会有机器启动和停止的声音,并与画面中咖啡停止出液并倒吸的过程匹配。

它甚至还可以为那些坏掉的AI视频,重新配一种更加魔幻的音乐,产生有趣的效果。

Sora Opera还专门针对绿幕制作的素材进行了训练,它可以根据画面的人物状态和动作,以及画面中所包含的道具,进行精准的卡点配音。

它还专门针对声音可能形成的声源,和额外可能的同声源数据进行了训练,在一段女性头发被大风吹乱的绿幕视频中,它为没有出现在画面里的风机配音。这无需输入任何提示词来辅助。

尽管市面上已有多种同类文生视频工具如Pika、Gen-2、SVD等,它们目前版本生成的片段都是静音的,为视频配乐仍是一个挑战。但过去一年中,AI音乐领域的研究并未停滞。

目前,市面上较为常用的音乐生成器Suno,能生成带歌词或纯音乐的音频片段。不过Suno仍存在一些问题,如无法设置主旋律、副歌等节奏,生成的音乐缺乏一致性、无法通过现有旋律改变曲风等。

尽管如此,这类工具已能制作出完整的1-2分钟旋律。视智未来的最新直播+播客节目《对话AI创业者》,就使用Suno生成了片头片尾音乐。

为视频卡点配乐,可能是反向推动AI作曲发展的一种方法。视频配乐的关键在于准确匹配画面,如需解决主旋律和加入副歌等问题,可以通过调整需要配乐的画面,来实现一定程度的控制。

随着文生视频技术的成熟,市面上出现了视频创作大赛和“赏金猎人”群体。在《对话AI创业者》第一期采访中,VAST CMO Sierra告诉视智未来,人们逐渐发现,以图片为基准的图生视频其实比文生视频更常用。

类似地,基于已有静音视频生成音频,比单纯的文生音频更实用。这类工具的普及,尤其是Sora Opera带头的免费及开源提供,将打通视频生产管线的更多环节,使视频生成的效果更好,使用场景也更广泛,甚至可能对传统的PPT演示形成并用或替代的趋势。

图拉古在接受视智未来采访时也提到了产品的竞争壁垒。他本人具有电影导演经历,对电影工业运作较为熟悉。他们使用的音频模型是基于广泛的声音库训练的,更适合影视制作的流程。他强调,就像“提示词工程”一样,AI模型垂直优化的过程,非常依赖于开发者对行业基础知识的理解。

天图万境的研发过程始于2016年,过去推出的多种技术,比过去一两年德国马普所(马克斯·普朗克经验美学研究所)、Stable Diffusion、Luma AI、Wonder Studio等同类产品更早投入小范围商业使用,但未能成为C端广泛应用的现象级工具。刚开始时,他们甚至很难向市场解释他们所做的工作是什么,直到后来国外的“现象级”产品教育市场。

图拉古指出,这种情况会让外界认为许多相关创新都是国外首创的,而国内没有原发创新能力。但实际上,国内技术也已在同等领域取得显著成就,只是需要机会被外界认知。这也是他们的视频生音频应用被命名为“Sora Opera”,希望一定程度借势展现其技术能力的原因。

图拉古介绍,天图万境的业务范围比较广泛。Sora Opera是他们互动影游业务开发过程中的副产品。

去年底完成制作的一款“超感影游”,用AI在剧本、原画、动画、配乐等全场景参与,提高了整个团队的制作效率,目前单款剧本制作周期可以短至19天。

这种在线下游玩的多人互动产品,利用AI生成了多线分支的剧本,使每位参与者的选择都能引导游戏走向不同的剧情分支。这款产品将投放商超点位,与狼人杀、剧本杀等产品竞争,且具备体验相对稳定,不依赖真人主持的优势。

Sora Opera有适用于“超感影游”开发的专业版本,为沉浸式互动影游提供专业级生产保障。目前天图万境通过Sora Opera生产的“超感影游”已有《命运之海》《幽灵堡垒》《太阳神诅咒》《凡尘》《主角学院》等。


Copyright © 2024 aigcdaily.cn  北京智识时代科技有限公司  版权所有  京ICP备2023006237号-1