当前位置:首页|资讯|OpenAI

效果炸裂!OpenAI发布最强文生视频模型Sora,但......

作者:华尔街见闻发布时间:2024-02-16

原标题:效果炸裂!OpenAI发布最强文生视频模型Sora,但......

效果炸裂,连贯性优秀,但模拟复杂物理场景仍有瑕疵。考虑到这一技术存在滥用风险,Sora暂时不对公众开放。

紧随 Runway 、 Google、Meta 等公司的步伐,OpenAI正式进军视频生成领域。

这家 AI 领头羊声称,Sora 能够根据文本指令,创造出既真实又充满创意的场景,且生成视频时长可达60秒——远超大多数类似模型。

OpenAI在博文中表示,Sora 不仅能生成包含多‍个角色的复杂场景,还能准确捕捉到各种动作和背景细节:

“Sora不仅能理解用户在提示词中提出的需求,还了解这些物体在现实世界中的存在方式。

总的来说,OpenAI 对 Sora 的演示页面充满了溢美之词,仅从其展示的“Sample”示例视频来看,Sora确实比目前其他的文本转视频技术更为出色。

连贯性优秀,但模拟复杂物理场景仍有瑕疵

从展示的几个示例视频上看,Sora在保持连贯性方面做得相当好,基本避免了所谓的“AI 奇异感”,即物体以不符合物理规律的方式移动。

例如,这段完全由 Sora 创作的艺术画廊之旅(请忽略掉视频转GIF带来的颗粒感):

或是这支绽放的花朵:

不过,一些以类人为主题的 Sora 视频——比如站在城市景观中的机器人,或是雪地中行走的人,展现了一种类似视频游戏的质感——这可能是因为背景较为简单。

值得一提的是,尽管OpenAI对Sora大加赞赏,但也承认这一模型并非完美无缺。

例如,Sora 在模拟复杂场景的物理行为时可能会遇到难题,对特定因果关系的理解也不够精准。例如“五只灰狼幼崽在一条偏僻的碎石路上互相嬉戏、追逐”,狼的数量会变化,一些凭空出现或消失。

另外,模型在处理空间细节时也可能出错,如将左右搞反,或在描述随时间变化的事件时出现精确度不足,例如无法精确遵循特定的摄像机机位轨迹等。

暂不对公众开放

据OpenAI官博, Sora 目前定位为研究预览。训练参数方面,除去提到了约10,000小时的“高质量”视频,并未详细说明训练该模型所用的数据。

目前,Sora仅向负责评估模型潜在危害和风险的“红队”成员开放,并未推向公开市场。不过,OpenAI 也向一些视觉艺术家、设计师和电影制作人提供了体验机会,以征集他们的反馈。

其考虑是,这一技术潜在的滥用风险。OpenAI 明确表示,不法分子可能会以多种方式滥用 Sora。该公司表示:

“正在与专家合作,探索模型的潜在弱点,并开发工具以判断视频是否由 Sora 生成。”

OpenAI还表示,如果决定将这一模型开发成面向公众的产品,将确保生成的内容中包含来源元数据。OpenAI 强调:

“ 我们将与全球的政策制定者、教育者和艺术家沟通,以了解他们对这项新技术的看法及其积极应用。

尽管我们进行了广泛的研究和测试,但无法完全预见到这项技术将如何被有益地使用,或被滥用。

因此,我们认为,从现实世界中的应用学习,是逐步创建和发布更安全的 AI 系统的关键。”


Copyright © 2024 aigcdaily.cn  北京智识时代科技有限公司  版权所有  京ICP备2023006237号-1