自然语言驱动Web3D数字孪生场景交互探索

在工业数字孪生的Web端交付中，三维场景操作长期依赖鼠标点选与工具栏，非专业用户上手成本较高。本实验室近期开展“自然语言驱动Web3D场景交互”的实验性探索，尝试用大语言模型将用户的口语化指令解析为相机运动、构件聚焦、图层过滤与数据查询等结构化操作。技术路线上，我们采用意图—槽位解析结合函数调用的方式，并为场景建立语义索引，将模型名称、常见别称与节点ID建立映射，避免让模型直接输出坐标带来的不稳定性。阶段性进展：1）基于内部800条真实工单语句构建测试集，意图识别准确率约92%，构件定位命中率约87%；2）通过轻量模型本地推理与高频指令缓存，单次交互平均响应时间控制在300毫秒以内。下一步计划围绕多轮上下文理解与语音输入接入展开，并在1—2个客户项目中试点验证。我们认为该方向的价值在于降低三维系统的使用门槛，而非替代现有交互方式。