都灵理工发布PolyDiff - 3D版的Stable Diffusion？利用扩散模型生成三维多边形网格

PolyDiff是首个基于扩散概率模型的3D模型生成方法，能学习顶点几何特性和面拓扑特征，生成真实多样化的3D多边形网格。PolyDiff以三角面为基础，采用离散去噪扩散模型操作网格数据，可生成新的模型，生成的模型更干净、更真实。

之前介绍了很多3d生成方面的进展，整体来讲现有的多数方案都是基于多视图图像的拟合，生成的模型布线问题非常大，如果想应用到游戏里还需要拓扑减面，而众所周知，这两个问题也是建模领域的老大难问题，很难自动化。

今天介绍的方案直接能够生成布线结构比较合理的模型，也许以后通过3D版的Controlnet等技术的加持，我们可以省略掉拓扑减面的步骤，直接生成可用的模型。

PolyDiff是第一个基于扩散概率模型生成模型的方法，能够学习顶点的几何特性和面的拓扑特征，生成真实且多样化的 3D 多边形网格。

PolyDiff: Generating 3D Polygonal Meshes with Diffusion Models 

一种新的3D生成方法，能直接生成逼真且多样化的3D多边形网格。与使用其他3D形状表示方法(如隐式表示)的方法不同，PolyDiff是一种离散的去噪扩散概率模型，可以直接在多边形网格数据结构上操作。通过将网格视为量化的三角形集合，并在前向扩散阶段逐步损坏带有分类噪声的三角形，然后训练一个基于Transformer的去噪网络来恢复原始网格结构。在推理过程中，可以通过迭代应用这个去噪网络来生成新的网格，从一个完全嘈杂的三角形集合开始。该模型能产生高质量的3D多边形网格，可直接用于下游的3D工作流程。实验分析表明，PolyDiff在当前最先进的方法上取得了显著优势(平均FID和JSD分别提高了18.2和5.8)。

由 PolyDiff（左，蓝色网格）生成的一个样本以及训练集中的前 3 个类似模型，这些例子表明PolyDiff可以生成新的模型。

PolyDiff 生成的模型比其他方案生成的模型明显更干净、更真实。

作者单位：都灵理工大学、意大利理工学院、慕尼黑工业大学

论文+研究生及SCI论文攻略及润色资料包+论文指导发刊+kaggle带队拿牌+技术指导

关注微信公众号：学长论文指导，回复211 获取

AI交叉学科、SCI、CCF-ABC、期刊、会议、本硕博论文、在职论文指导、Kaggle带队拿牌、 润色发刊等论文辅导 

手把手带你从做科研到论文发表，一条龙全方位指导！避免各种常见or离谱的坑，顺顺利利学习，快快乐乐毕业~

0基础也能发论文吗?导师放养？毕业压力？找不到热点课题和方向没有idea、没有数据集，实验验证不了、代码跑不通没有写作基础、不知道论文的含金量，高区低投、不清楚不了解完整的科研经验;评职称？、申博压力、自我高区位的追求 ！