← 返回实验室

浏览器端三维场景的AI语义检索与轻量化实验

把工业数字孪生搬进浏览器,难点往往不在渲染,而在“找得到、开得动”。本轮实验围绕两个问题展开:海量构件的语义检索,以及首屏加载的轻量化。

做法上,先让多模态模型读取设备台账、管路图纸与实拍照片,为 glTF 场景图中的每个构件自动生成名称、类别与功能描述,写入向量库;检索时用自然语言查询返回构件 ID,并在三维视图中高亮定位,替代过去按图层逐级点选的路径。

要点:

  • 进展:在某产线数字孪生样例(约 420 万三角面、1.8 万构件)上,自动标注覆盖约九成构件,Top-5 检索命中约八成;结合 LOD 与实例化,首屏传输量由 38MB 降至 9MB 左右,中端笔记本上帧率维持在 50fps 以上。
  • 下一步:用 WebGPU 计算着色器承接视锥与遮挡剔除,把剔除放到 GPU 侧;同时试验自然语言指令到场景操作的映射(如“只看三号泵所在回路”),并保留人工确认环节,避免误操作。

阶段性结论是,Web3D 的瓶颈正从渲染性能转向场景数据的组织方式;语义层一旦建好,检索、漫游与操作可以共用同一套索引。

评论

更多研究动态

查看全部实验室 →