压缩20倍！上交开源FCGS：无需优化！几秒钟压缩3DGS！

0. 论文信息

标题：Fast Feedforward 3D Gaussian Splatting Compression

作者：Yihang Chen, Qianyi Wu, Mengyao Li, Weiyao Lin, Mehrtash Harandi, Jianfei Cai

机构：Shanghai Jiao Tong University、Monash University、Shanghai University

原文链接：https://arxiv.org/abs/2410.08017

代码链接：https://github.com/YihangChen-ee/FCGS

1. 摘要

随着3D Gaussian Splatting (3DGS)推进实时和高保真渲染以实现新的视图合成，存储要求对其广泛采用提出了挑战。尽管已经提出了各种压缩技术，但是现有技术受到一个共同的限制:对于任何现有的3DGS，需要逐场景优化来实现压缩，这使得压缩缓慢且缓慢。为了解决这个问题，我们引入了3D高斯分布图(FCGS)的快速压缩，这是一种无需优化的模型，可以在单个前馈通道中快速压缩3DGS表示，从而将压缩时间从几分钟大幅减少到几秒钟。为了提高压缩效率，我们提出了一个多路径熵模块，该模块将高斯属性分配给不同的熵约束路径，以平衡大小和保真度。我们还仔细设计了高斯内和高斯间的上下文模型，以消除非结构化高斯斑点之间的冗余。总体而言，FCGS在保持保真度的同时实现了超过20倍的压缩比，超过了大多数基于逐场景SOTA优化的方法。

2. 引言

近年来，三维高斯泼溅（3DGS）在新视角合成领域取得了显著进展。通过利用具有颜色和几何属性的完全显式高斯函数，3DGS能够通过光栅化技术促进场景的高效训练和渲染。然而，大量高斯函数的存在带来了巨大的存储挑战，阻碍了其更广泛的应用。

为了解决与3DGS相关的存储挑战，已开发了多种压缩方法，如所述。这些进展显著降低了存储需求，使其达到了可接受的范围。通过回顾该领域的关键进展，我们确定了支撑3DGS压缩的两个基本原则：基于值的原则和基于结构的原则。

• 基于值的原则。该原则通过基于值的重要性分数或相似性来评估参数的重要性。采用剪枝和矢量量化等技术，仅保留最具代表性的值，从而减少参数数量。基于这一原则，早期研究侧重于根据参数值紧凑地表示无组织的高斯基元，并丢弃对模型效率影响较小的参数。

• 基于结构的原则。更近期的方法开始转向利用高斯基元之间的结构关系以实现更好的压缩。该原则强调利用有组织的结构来系统地排列无序的高斯基元，通过建立结构化连接来帮助消除冗余。例如，HAC使用Instant-NGP来组织高斯锚点特征，SOG采用自组织网格，而IGS则使用三平面结构来高效地组织高斯数据。

尽管3DGS的压缩技术有效，但它们都存在一个共同局限：对于任何现有的3DGS，都需要进行逐场景优化才能实现压缩。虽然基于优化的压缩流程得益于针对特定场景的训练，从而实现了出色的率失真（Rate-Distortion，RD）性能，但由于耗时的微调过程，它显著减缓了压缩速度。

为了解决这一挑战，我们提出了一种新方法：无需优化的压缩流程，该流程通过单次前向传递即可快速压缩现有的3DGS表示，我们称之为FCGS（三维高斯泼溅快速压缩）。无论3DGS的来源是优化还是前向模型，我们的FCGS都能实现快速压缩，提供了一种便捷且无忧的解决方案。与以前的方法相比，这些方法会降低参数值或改变3DGS的结构，因此需要额外的微调，而FCGS旨在同时保留3DGS的值和结构完整性，从而实现无需优化的设计。基于价值原则设计的多路径熵模块（Multi-path Entropy Module，MEM）会推断出掩码，以确定属性是直接量化用于压缩还是通过自编码器进行处理。基于MEM确定的掩码并受结构原则启发，我们提出了高斯间和高斯内上下文模型，它们能够有效地捕捉高斯属性之间的结构关系。推荐课程：实时400FPS！高精NeRF/Gaussian SLAM定位与建图。

需要强调的是，逐场景优化压缩流程（以前的方法）和通用无需优化压缩流程（我们的方法）都至关重要，且服务于不同的目的。前者通过逐场景调整来实现出色的RD性能，但压缩速度较慢，因此适合永久数据存储或服务器端编码。相比之下，我们的流程提供了一种便捷且无忧的解决方案，单个模型可以直接且快速地压缩各种3DGS，无需微调，非常适合对时间敏感的应用。据我们所知，我们的工作是首次为3DGS实现了一种通用且无需优化的压缩流程。尽管缺少逐场景微调自然限制了我们的RD性能，但通过精心设计MEM和上下文模型，我们仍然实现了超过20倍的压缩比，同时保持了极高的保真度。

3. 效果展示

尽管3DGS的压缩技术有效，但它们都存在一个共同局限：对于任何现有的3DGS，都需要进行逐场景优化才能实现压缩。虽然基于优化的压缩流程得益于针对特定场景的训练，从而实现了出色的率失真（Rate-Distortion，RD）性能，但由于耗时的微调过程，它显著减缓了压缩速度。

4. 主要贡献

我们的贡献总结如下：

• 我们提出了一种开创性的快速且通用的无需优化压缩流程FCGS，用于三维高斯泼溅，有效拓宽了3DGS压缩技术的应用场景。

• 为了促进3DGS表示的有效压缩，我们引入了MEM模块，以平衡不同高斯函数之间的大小和保真度。此外，我们还精心定制了高斯间和高斯内上下文模型，通过有效消除冗余，显著提高了压缩性能。

• 在各种数据集上进行的广泛实验证明了FCGS的有效性，在保持极高保真度的同时实现了20倍的压缩比，甚至超过了大多数基于优化的方法。

5. 方法

我们的目标是在无需微调的情况下，通过单次前向传播快速压缩3D高斯球体（3DGS）表示。受图像压缩方法的启发，我们采用了一种基于自编码器的结构，其中高斯属性被编码到潜在空间以进行压缩，如图2所示。

然而，我们发现将所有高斯参数同等对待并全部输入到同一个自编码器中，会导致保真度显著下降，因为某些属性对偏差高度敏感。为解决这一问题，我们引入了多路熵模块（MEM），以有效平衡压缩大小和保真度。在上下文模型设计上，我们定制了高斯间和高斯内上下文模型，它们能够有效消除高斯参数之间的冗余（图3），且轻量高效。此外，我们还使用高斯混合模型（GMM）来估计概率分布。在以下部分中，我们首先讨论3D高斯球体的背景及特性，然后深入探讨我们快速压缩3D高斯球体（FCGS）的设计。

6. 实验结果

7. 总结 & 未来工作

在本文中，我们介绍了一种开创性的、无需优化的3D几何形状（3D Geometric Shape，简称3DGS）表示通用压缩流程，并提出了我们的快速压缩几何形状（Fast Compression of Geometric Shapes，简称FCGS）模型。FCGS能够实现对现有3DGS的快速压缩，而无需任何微调，从而大大节省了时间。更重要的是，我们通过精心设计的内存访问效率最大化（Memory Efficiency Maximization，简称MEM）模块和上下文模型，实现了令人瞩目的率失真（Rate-Distortion，简称RD）性能，压缩率超过20倍。我们的方法还能提升基于剪枝方法的压缩性能。总体而言，这一新的压缩流程凭借其诸多优势，有望极大地推动3DGS压缩技术的广泛应用。

对更多实验结果和文章细节感兴趣的读者，可以阅读一下论文原文~

3D视觉工坊可提供顶会论文的课题如下：