大模型驱动Web3D场景自然语言交互实验进展

Web3D交互实验室近期围绕「自然语言驱动三维场景操作」开展实验，探索大模型在工业数字孪生Web端的落地路径。方案上，我们将场景对象树、相机参数与动画接口封装为结构化函数调用协议，由大模型解析用户指令并生成操作序列，前端基于WebGL实时执行，浏览器内直接运行、无需插件。
阶段性进展：①在含200余个设备对象的原型场景中，单步指令解析准确率约91%，视角切换、部件高亮、拆装演示等典型任务平均响应1.8秒；②引入场景上下文缓存与指令模板约束后，多步复合指令成功率由68%提升至84%。
下一步将扩充工业语义词典，覆盖更多设备类型与工艺动作，并结合语音输入验证现场免手持操作的可用性；轻量版协议示例计划随阶段成果整理开源，便于业务系统集成验证。