效果炸裂,连贯性优秀,但模拟复杂物理场景仍有瑕疵。考虑到这一技术存在滥用风险,Sora暂时不对公众开放。
紧随 Runway 、 Google、Meta 等公司的步伐,OpenAI正式进军视频生成领域。
这家 AI 领头羊声称,Sora 能够根据文本指令,创造出既真实又充满创意的场景,且生成视频时长可达60秒——远超大多数类似模型。
OpenAI在博文中表示,Sora 不仅能生成包含多个角色的复杂场景,还能准确捕捉到各种动作和背景细节:
“Sora不仅能理解用户在提示词中提出的需求,还了解这些物体在现实世界中的存在方式。”
总的来说,OpenAI 对 Sora 的演示页面充满了溢美之词,仅从其展示的“Sample”示例视频来看,Sora确实比目前其他的文本转视频技术更为出色。
连贯性优秀,但模拟复杂物理场景仍有瑕疵
从展示的几个示例视频上看,Sora在保持连贯性方面做得相当好,基本避免了所谓的“AI 奇异感”,即物体以不符合物理规律的方式移动。
例如,这段完全由 Sora 创作的艺术画廊之旅(请忽略掉视频转GIF带来的颗粒感):
或是这支绽放的花朵:
不过,一些以类人为主题的 Sora 视频——比如站在城市景观中的机器人,或是雪地中行走的人,展现了一种类似视频游戏的质感——这可能是因为背景较为简单。
值得一提的是,尽管OpenAI对Sora大加赞赏,但也承认这一模型并非完美无缺。
例如,Sora 在模拟复杂场景的物理行为时可能会遇到难题,对特定因果关系的理解也不够精准。例如“五只灰狼幼崽在一条偏僻的碎石路上互相嬉戏、追逐”,狼的数量会变化,一些凭空出现或消失。
另外,模型在处理空间细节时也可能出错,如将左右搞反,或在描述随时间变化的事件时出现精确度不足,例如无法精确遵循特定的摄像机机位轨迹等。
暂不对公众开放
据OpenAI官博, Sora 目前定位为研究预览。训练参数方面,除去提到了约10,000小时的“高质量”视频,并未详细说明训练该模型所用的数据。
目前,Sora仅向负责评估模型潜在危害和风险的“红队”成员开放,并未推向公开市场。不过,OpenAI 也向一些视觉艺术家、设计师和电影制作人提供了体验机会,以征集他们的反馈。
其考虑是,这一技术潜在的滥用风险。OpenAI 明确表示,不法分子可能会以多种方式滥用 Sora。该公司表示:
“正在与专家合作,探索模型的潜在弱点,并开发工具以判断视频是否由 Sora 生成。”
OpenAI还表示,如果决定将这一模型开发成面向公众的产品,将确保生成的内容中包含来源元数据。OpenAI 强调:
“ 我们将与全球的政策制定者、教育者和艺术家沟通,以了解他们对这项新技术的看法及其积极应用。
尽管我们进行了广泛的研究和测试,但无法完全预见到这项技术将如何被有益地使用,或被滥用。
因此,我们认为,从现实世界中的应用学习,是逐步创建和发布更安全的 AI 系统的关键。”