在 Web3D 交互实验室的阶段实验中,我们把数字孪生场景的交互反馈与端侧 AI 推理放进同一个渲染循环:模型在浏览器内通过 WebGPU 执行轻量语义分割,识别设备部件与区域状态,结果直接驱动高亮、标注与视角建议,而不是上传服务端等待回包。真正的难点是渲染预算与推理预算互相挤压——场景面数或贴图一升,推理线程就会抢占帧时间。
要点:
- 进展:以 LOD 分级作为调度抓手,按视距与屏幕占比切换模型精度,远处部件走低模与低分辨率推理,近处才启用完整模型。在 30 万三角面、四路监控视频贴图的测试场景中,桌面端稳定在 45~55 FPS,单帧推理耗时 8~14 ms。
- 下一步:接入量化后的分割模型,验证移动端浏览器与不同 GPU 后端的表现,并将交互日志回流为场景优化依据,形成可复用的 Web3D + 端侧 AI 性能基线。
我们不做“浏览器里跑大模型”的叙事,只关注可交互、可复现、可降级这三件事。

评论