Elon Musk 旗下的 AI 新创公司 OpenAI 在大家都玩疯了的 DALL-E 文字转图像生成 AI,以及聊天 AI ChatGPT 之后,最新的作品 是挑战 3D 模型,而且也是同样仅需输入文字就能生成。 在下图的演示中,可见 3D 生成物是以点状云组成,分辨率不怎么样,不过其实这只需要一个 GPU 核心和几分钟就能完成,相较 Google DreamFusion 需要多核 GPU 机器和数小时的运算,这样的成果也算不错了吧。
OpenAI
3D 模型的应用情景广泛,包括电影制作的 CGI、游戏、VR、AR、NASA 的登月任务等等都有多少用上,所以能够快速、简单地生成 3D 模型是能大大减轻工作负担。 当然所需要的 3D 模型要多精细、多高分辨率,就是因情景而异了。
OpenAI
据 Alex Nichol 所带领的 OpenAI 研究团队在上周发布的文档《Point· E: A System for Generating 3D Point Clouds from Complex Prompts》中解释指,Point-E不需如其他 AI 般需要大量数据来训练,而是通过小规模的图像、3D 数据配对,先由类似 DALL-E 2 的 AI 模型来把文字转换到图像后,再为通过 3D 取样方式生成,使得整个程序只需要数十秒的时间, 而且不需要昂贵的优化步骤。
打比方说要生成「正在吃墨西哥卷饼的猫」,Point-E 就会先生成一个3D的RGB点状云,再逐步细修至有4,096点分辨率的成品。 团队提到原始文字需要有足够的信息,也不要提到像素点的确实造型。 有兴趣的朋友可以到 GitHub 取得开放的源代码试用看看喔。