MeshGPT：生成式AI建模，转换网格后可3D打印

正如ChatGPT能够预测下一个单词，MeshGPT可以预测模型的下一部分。

无论是通过ChatGPT中生成3D模型的脚本，再借助OpenSCAD软件进行建模，还是使用Shap-E，从文本或图像直接生成3D模型，这些方法目前仍然无法获得较好的模型，或者说无法生成适用于3D打印的模型。

我们都知道，3D打印中常用的文件格式是STL，它由一系列三角面片构成，通过离散的方式近似描述三维实体模型的表面。在这里，如果能够通过AI的方式把三角网格转换成模型，将是最理想的选择。

近日，来自慕尼黑工业大学、都灵理工大学和AUDI AG的研究人员发表了一篇论文，介绍了一种名为”MeshGPT：仅使用解码器Transformer生成三角形网格“的新方法，能够使用先进的AI技术创建3D形状，特别是三角形网格。论文链接：https://nihalsid.github.io/mesh-gpt/static/MeshGPT.pdf

MeshGPT通过从Transformer模型中进行自回归采样，创造了三角形网格。这一模型经过训练，能够从学得的几何词汇中生成标记，并将这些标记解码为三角形网格的面。与现有技术相比，MeshGPT显著提高了生成3D网格的质量，形状覆盖率提高了9%，FID分数提高了30个点。

该过程首先将三角形（3D形状的构建块）转换为人工智能可以理解的形式， 然后人工智能会了解这些三角形通常如何排列以创建不同的形状。经过训练后，MeshGPT可以通过预测三角形的排列来生成新的形状。它从一个起点开始，并不断添加三角形以形成完整的形状。结果是一个逼真的3D形状，具有清晰的边缘和细节，而且也很紧凑。

步骤说明：

1，通过使用编码器-解码器模型，从大量形状集合中学习几何嵌入的词汇。该模型将三角形网格转换为人工智能可以理解和使用的格式。

2，编码器分析当前的三角形网格并将其转换为一系列标记或嵌入 - 本质上是对三角形及其排列的数字表示。这些嵌入捕捉了有关网格的基本几何和拓扑信息，例如顶点的位置和三角形的方向。

3，一旦模型掌握了这些几何词汇，MeshGPT就会使用Transformer来生成新的网格。这一过程是自回归的，也就是说，模型会逐步进行预测，每一步都基于先前的预测。其中会使用两个转换器生成网格，一个用于生成点，另一个在指针网络的帮助下生成面，最终逐渐构建完整的网格。

MeshGPT的一个显着优势是其能够生成既真实又紧凑的网格。紧凑性指的是在创建详细而准确的形状时不使用不必要的三角形。MeshGPT通过从现有网格的大量数据集中学习，了解如何保持其生成的形状的高保真度，同时避免不必要的复杂性。

在性能方面，MeshGPT相较于以前的方法显示出显著的改进。研究表明，MeshGPT生成的形状具有更好的覆盖范围和保真度，有效地模仿人类创建的网格的效率和细节。该模型能够直接生成三角形序列的网格，同时保持高水平的细节和真实感，这标志着在3D形状生成领域取得了重大的进步。

如果这项研究能够成功应用，将有望消除妨碍3D打印广泛应用的一大难题：模型数据。