近日,CVLAB实验室发布《百万个彩色水滴:3D Gaussian Splatting如何开启三维重建的“实时”时代?》,围绕三维重建领域备受关注的3D Gaussian Splatting技术展开解读。文章指出,这项自2023年起快速走红的技术,通过将三维场景表示为大量可渲染的彩色高斯点,使高质量三维重建从“漫长等待”走向实时交互,为自动驾驶、VR/AR、机器人、数字孪生和具身智能等场景打开了新的应用空间。
三维重建长期面临“真实感”与“实时性”矛盾
三维重建的核心,是让人工智能从二维图像中理解真实世界的三维结构。长期以来,这一任务在精度和速度之间存在明显取舍:传统多边形网格渲染速度较快,但在复杂真实场景中容易显得粗糙;NeRF等神经辐射场方法能够生成像素级逼真画面,却需要较高计算量,在普通桌面级GPU上渲染单张1080p图像往往需要数秒甚至更久。
对于VR、AR、自动驾驶仿真等强调交互体验的场景而言,延迟会直接影响使用感受。CVLAB实验室在文章中提到,业界一直在寻找一种兼具真实感和流畅渲染能力的三维重建方法,3D Gaussian Splatting正是在这一背景下被推到前台。
用“彩色水滴”重构三维世界
3D Gaussian Splatting,通常简称3DGS。与NeRF通过神经网络隐式表达场景不同,3DGS采用显式几何表示:它把三维空间拆解为数百万个半透明的彩色椭球,每个椭球都是一个高斯分布,携带位置、大小、方向、颜色和透明度等参数。
在渲染时,系统会把这些三维高斯点投影到二维屏幕上,再按深度顺序混合颜色,最终合成完整画面。这个过程类似将大量彩色小点同时“泼”到画布上,因此被称为Splatting。由于场景表示更直观,渲染阶段可以复用成熟图形学管线,并充分利用GPU并行计算能力。
性能突破:让三维重建从“暗箱推理”变成“公开计算”
文章指出,3DGS实现实时渲染的关键,在于它弱化了神经网络前向推理的依赖,将训练和渲染改造成更高效的数字流水线:从稀疏点云初始化高斯点,通过可微分渲染反向优化参数,最后把大量高斯点同时投影到屏幕上。
在公开数据集测试中,3DGS的画质已经能够匹配甚至超越部分既有方案。以文中给出的对比为例,在RTX 4090上,单张1080p渲染时间约为0.9毫秒,相比传统NeRF路线约100毫秒的耗时,速度提升超过百倍;在RTX 3060等中端显卡上,也可以实现200至300 FPS的流畅渲染。这意味着普通硬件也有机会运行高质量三维重建内容。
从静态走向动态:4D场景重建成为新方向
如果说3DGS解决了静态场景的实时渲染问题,那么4D场景重建则是在此基础上加入时间维度,处理动态场景中的运动物体和复杂形变。文章介绍,2025年以来,3DGS在动态场景领域出现了一系列进展。
其中,Hybrid 3D-4D Gaussian Splatting采用混合策略:用传统3D高斯表示场景中相对静止的部分,只对运动物体使用4D高斯建模,从而兼顾动态细节、计算效率与存储开销。另有研究引入神经形态动态视觉传感器,面向高速动态场景提出时空解耦式4D高斯溅射模型,并获得人工智能顶级会议接收。针对单视角视频中的复杂运动,相关工作也在尝试用层次化结构分解场景运动,逐步组合出每个高斯点的运动轨迹。
应用落地:自动驾驶、VR/AR与数字孪生加速受益
在应用层面,3DGS正在从研究工具走向产业场景。自动驾驶仿真是重要方向之一。文章提到,SplatAD等基于3DGS的方法能够同时实时渲染相机图像和激光雷达数据,并建模卷帘快门效应、激光雷达信号强度等传感器特性,可降低道路测试和仿真训练成本。
在VR/AR与机器人SLAM领域,3DGS的高效性使其成为实时地图构建的有力候选。GG-SLAM利用高斯分组技术实现实时对象级三维地图构建,可在虚拟现实中提供更自然的物体交互体验。OpenGS-Fusion则尝试将3D高斯与开放词汇理解结合,使系统能够根据“红色椅子”等自然语言指令,在三维场景中精准分割目标。
在数字孪生与3D内容生成领域,3DGS也展现出产品化潜力。有方案支持无人机倾斜摄影和激光雷达数据的零代码导入,并通过高斯参数量化压缩,将数据量降至NeRF路线的约十分之一,更适配WebGL和云渲染场景。科研领域中,SplArt、SplatTalk等框架也在探索3DGS与大语言模型、具身智能和3D视觉问答的结合。
未来展望:实时三维内容基础设施仍在演进
CVLAB实验室认为,3DGS并不意味着三维重建技术已经到达终点。当前它仍面临反射表面、高光环境下细节模糊,以及大规模城市级场景重建中的压缩和优化问题。但随着扩散模型、序列模型、几何增强等技术持续融合,3DGS在训练效率、渲染精度和场景泛化能力上仍有提升空间。
可以预见,未来的XR设备可能不再需要加载沉重的3D网格,而是通过轻量级高斯表征,随时随地高精度重建真实世界。当用户在虚拟世界中转身、在游戏中环顾四周,或通过手机查看逼真的三维模型时,背后或许正有数百万个“彩色水滴”在瞬间铺满画面。
稿件要点速览
3DGS的核心价值在于以显式高斯点替代高成本隐式神经场,使三维重建兼具真实感与实时性;其应用正在从静态三维重建扩展到4D动态场景,并在自动驾驶仿真、VR/AR、机器人SLAM、数字孪生和具身智能等方向加速落地。
作者:桂林理工大学 刘昌熠 李思媛 张锦峻 王思尹 宁蓉蓉 柴依琳 谢灿灿
