在浏览器里查看一台数字孪生设备，过去依赖预设的相机轨道和按钮面板。Web3D交互实验室近期尝试引入第三类输入——自然语言：用户说出“看一下三号工位的机械臂夹爪”，系统需要把这句话拆解为部件定位、相机运镜与状态查询三类动作，再落到场景图上执行。
真正的难点不在语言理解，而在场景本身缺少机器可用的语义。我们为产线模型补了一层轻量语义标注：每个网格节点挂载设备位号、功能类别与可执行动作枚举，标注以 glTF extensions 形式存储，不额外引入服务端依赖。模型侧同步做了压缩与分级处理，实验场景约 200 万三角面，经几何压缩与 LOD 分档后，首屏可交互时间从约 12 秒降至 3 秒左右（局域网测试环境，跨网表现尚未验证）。
下一步安排：
- 将指令解析从固定模板扩展到多轮消歧，统计工位重名、口语化指代条件下的失败案例分布；
- 在 WebGPU 后端验证大批量实例化标注的渲染开销，评估是否把语义索引下沉到 Worker 线程。
评论