在浏览器端重建可交互的三维设备场景，长期受限于两件事：模型体积与交互语义。本轮实验把 WebGPU 渲染与轻量化 glTF 管线接到一起，并让语言模型只负责“语义到场景”的映射，不参与几何计算，避免不可控的生成结果。
具体做法是给孪生场景中的每个构件挂上结构化描述，包括类型、位号、上下游关系与可操作动作，构成统一索引；用户用自然语言提问时，先检索构件，再驱动相机、剖切与状态高亮。测试场景为一条 12 工位的装配线，约 860 个构件，浏览器首屏加载 2.3 MB、耗时约 1.4 秒，语义检索 Top-3 命中率 88%。
要点：
- 进展：语义检索与三维交互指令已在同一套场景图上打通，新增场景无需逐条编写交互脚本。
- 下一步：验证多用户协同标注的冲突合并策略，并评估端侧推理对交互延迟的实际影响。
评论