← 返回实验室

Web3D孪生实验:高斯泼溅重建与浏览器端交互

在设备巡检与远程协作场景中,传统三维可视化多依赖人工建模,更新慢、成本高,难以跟上产线改造节奏。Web3D 交互实验室近期把 3D Gaussian Splatting(3DGS)引入浏览器链路:用手机环绕拍摄的几十张照片,在服务端完成分钟级重建,输出压缩后的泼溅点云;前端基于 WebGPU 做渐进式加载与视锥裁剪,使中端笔记本可在网页中保持 30fps 以上的自由漫游,无需安装客户端。

在此基础上,我们尝试把交互层交给语言模型:用户以自然语言提问“三号泵的检修口在哪”,系统将语义映射到三维空间锚点,自动飞行到对应视角并高亮部件,同时叠加历史工单与实时传感器读数。当前锚点库仍需人工标注,这是我们认为最影响落地效率的一环。

要点:

  • 进展:单站重建耗时压至 4 分钟内,泼溅模型压缩至约 20MB,网页首帧加载约 3 秒;已在 3 条真实产线上完成重建与标注试点。
  • 下一步:探索用多模态模型自动生成部件级锚点与语义标签,并验证弱网与离线缓存条件下的可用性。我们不追求“全场景一键重建”的叙事,更关注重建误差能否被巡检人员接受,以及网页端的稳定帧率边界。

评论

更多研究动态

查看全部实验室 →