传统文生 3D 的优化算法
传统文生 3D 的优化算法
给定一个 2D 图片上预训练好的扩散模型（例如 stable-diffusion），Dreamfusion [1] 提出可以在不借助任何 3D 数据的情况下实现开放域的文到 3D 内容（text-to-3D）生成。具体而言，对于一个 3D 物体，文生 3D 任务的关键是设计一种优化算法，使得 3D 物体在各个视角下投影出来的 2D 图片与预训练的 2D 扩散模型匹配，并不断优化 3D 物体。其中，SDS [1] （也称为 Score Jacobian Chaining (SJC) [3]） 是目前几乎所有的零样本开放域文生 3D 工作所使用的算法。该算法将 3D 物体视为一个单点（single point），并通过随机梯度下降优化该 3D 物体，优化目标是最大化该渲染的 2D 图像在预训练扩散模型下的似然值。值得注意的是，该优化问题的最优解并不等价于从扩散模型中采样。
传统文生 3D 的优化算法示意图
实验中，所有基于 SDS/SJC 的方法目前都有一个严重的问题：生成的物体过于平滑、过饱和现象严重，并且多样性不高。例如，开源库 threestudio [4] 将目前主流的 text-to-3D 工作复现至与原论文可比水平，如下图所示：
由 threestuidio [4] 复现的文生 3D 工作
在此之前，基于 2D 扩散模型的文生 3D 仍然与实践落地有较大差距。然而，清华大学朱军团队提出的 ProlificDreamer 在算法层面解决了 SDS 的上述问题，能够生成非常逼真的 3D 内容，极大地缩小了这一差距。