基于大模型的Web3D场景自然语言交互探索

数字孪生场景在浏览器端的普及带来了新的交互瓶颈：传统鼠标点选与菜单操作在复杂三维场景中效率有限。本实验室近期开展一项实验性探索，尝试将大语言模型接入Web3D渲染引擎，让用户以自然语言直接操作三维场景。技术路线上采用“意图解析—指令映射—场景执行”三层结构：前端以WebGL加载轻量化模型，中间层由大模型将用户语句解析为结构化操作指令（如视角切换、设备定位、属性查询），再由场景脚本执行并反馈。为控制幻觉风险，指令集合限定为预定义原子操作，模型仅负责语义到指令的映射。阶段性结果：1. 在含120台设备的车间孪生场景测试中，常见指令（定位、高亮、视角切换）解析准确率约92%，平均响应延迟1.8秒；2. 复合指令（如“查看三号工位温度并拉近视角”）的拆解执行仍需优化，当前准确率约74%。下一步计划：引入场景上下文记忆以支持多轮对话，并探索指令缓存机制降低推理成本。该方向有望降低工业数字孪生系统的使用门槛，但目前仍处于实验阶段，距离生产环境部署尚有距离。