Web3D 交互实验室本阶段聚焦一个具体问题:浏览器端三维场景的操控成本。传统 Web3D 数字孪生中,查看某台设备往往要经历图层开关、相机拖拽、剖切面调整等多步操作,现场人员学习成本高,远程协作时也难用语言把视角描述清楚。
我们的做法是把自然语言指令解析为一组可复现的相机与图层状态:用户说“看三号机组东南侧的管路接口”,系统先完成设备名与方位的实体对齐,再计算目标包围盒,结合视锥遮挡求解一条不穿模的相机轨迹,最终输出为可分享的场景状态(含相机位姿、图层可见性、剖切参数)。渲染侧沿用 WebGPU 管线,指令解析与轨迹插值放在 Worker 中执行,避免阻塞主渲染线程。
进展与下一步:在约 40 台设备、12 万三角面的测试场景中,常见指令的视角命中率约 82%,端到端响应稳定在 700ms 以内;失败案例集中在模糊方位表述(如“左边那台”)与近名设备混淆。下一步将接入点云与高斯泼溅图层,验证非结构化场景下的语义定位,并开放指令日志回流用于持续微调。

评论