2024年2月16日,OpenAI发布文生视频模型——Sora及其技术报告《Video generation models as world simulators》。
从Sora模型看文生视频的技术路径:技术路径尚未收敛,Transformer扩展特性优势凸显。市场大多认为扩散模型是图像和视频生成领域的主流路径,但没有重视Transformer架构scaleup的能力。
OpenAI技术报告指出,Sora是基于扩散模型,但更强调,Sora是一个基于Transformer架构的扩散模型,其优秀的生成能力离不开Transformer架构优秀的scaling特性。当前,为构建性能更优、效率更高的视频生成模型,已出现多种结合Diffusion Model和Transformer架构的构建方式。
来源:西南证券
报告节选内容如下: