当前位置:首页|资讯|Sora

计算机行业:Sora技术深度解析(附下载)

作者:吃不胖的微微发布时间:2024-03-13

原标题:计算机行业:Sora技术深度解析(附下载)

Sora技术深度解析

(报告出品方:华福证券)

报告共计:21

Sora横空出世,引领多模态产业革命

 美国时间2月15日,文生视频大模型Sora横空出世,能够根据文本指令或静态图像 生成1分钟的视频。其中,视频生成包含精细复杂的场景、生动的角色表情以及复 杂的镜头运动,同时也接受现有视频扩展或填补缺失的帧。

 总体而言,不管是在视频的保真度、长度、稳定性、一致性、分辨率、文字理解等 方面,Sora都做到了业内领先水平,引领多模态产业革命。此外,当 Sora 训练的 数据量足够大时,它也展现出了一种类似于涌现的能力,从而使得视频生成模型具 备了类似于物理世界通用模拟器的潜力。

Sora视频生成过程:视频编码+加噪降噪+视频解码

从技术报告中,Sora视频生成过程大致由以下三个步骤组成:

 视频编码:Visual Encoder将原始视频压缩为低维潜在空间,再将视频分解为时空patches后拉平为系列视频token以供 transformer处理。

 加噪降噪:在transfomer架构下的扩散模型中,时空patches融合文本条件化,先后经过加噪和去噪,以达到可解码状态。

 视频解码:将去噪后的低维潜在表示映射回像素空间。

总体而言,我们认为Sora技术报告虽未能详尽阐述视频生成技术细节,但从参考技术文献中,可初步窥探出时空patches、视频压 缩网络、 Transformer技术架构、独特文本标注视频数据集等技术与资源优势,这些或为Sora占据业内领先地位的原因。

视频压缩网络实现降维,或为长视频生成基础

OpenAI训练了降低视觉数据维度的网络,该网络接受原始视频作为输入,并输出在时间和空间上都被压缩的潜在表示。Sora在这个压缩的潜在 空间上进行训练,并随后生成视频。与之对应,Sora训练了相应的解码器模型,将生成的潜在表示映射回像素空间。

压缩网络本质上是将高维数据映射至低维空间,低维空间中每个点通常对应原始高维数据的潜在表示,在复杂性降低和细节保留之间达到最优平 衡点,实现提升视觉保真度的同时降低算力资源消耗的作用。

 VAE为图片生成领域的常见图片编码器,应用到视频领域则需要加入时间维度以形成视频框架。例如,2023年发布的VideoLDM通过将视频拆 解为每一帧,之后插入时间对齐层,从而实现了视频生成。

 Sora从头训练了能直接压缩视频的自编码器,既能实现空间压缩图像,又能在时间上压缩视频。我们认为,在时空维度上压缩视频,既节省了算 力资源,又最大程度上保留视频原始信息,或为Sora生成60s长视频的关键因素,并为后续时空patches和transfomer架构处理奠定基础。

时空patches统一视频分割,奠定处理和理解复杂视觉内容的基石

 Sora借鉴LLM中将文本信息转化为token的思路,针对视频训练视觉patch,实现视觉数据模型的统一表达,实现对多样化视频和图像内容的有 效处理和生成,之后通过视频压缩网络分解为时空patches,允许模型在时间和空间范围内进行信息交换和操作。

 从Sora技术报告来看,时空patches或借鉴谷歌ViViT操作。

 ViViT借鉴ViT在图片分割上的思路,把输入的视频划分成若干个tuplet,每个tuplet会变成一个token,经过spatial temperal attention进行空 间和时间建模获得有效的视频表征token。

 传统方法可能将视频简单分解为一系列连续的帧,因而忽略了视频中的空间信息,也就是在每一帧中物体的位置和运动。我们认为,由于连续帧 存在时空连续性,Sora的时空patches可同时考虑视频中时间和空间关系,能够更加精准生成视频,捕捉到视频中细微的动作和变化,在保证视 频内容连贯性和长度的同时,创造出丰富多样的视觉效果,灵活满足用户的各种需求。

报告共计:21页


Copyright © 2024 aigcdaily.cn  北京智识时代科技有限公司  版权所有  京ICP备2023006237号-1