Web3D设备孪生中的AI自然语言交互实验

Web3D交互实验室近期做的一组实验，目标是把设备的三维模型从「展示用」变成「可对话的工作界面」：现场人员用口语描述现象，系统在三维场景中定位并高亮对应部件，同时返回该部件的参数、历史工单摘要与手册条目。

进展：在浏览器端搭建了一套轻量设备孪生场景（glTF模型＋部件级标识），以大模型作为语义层，把自然语言映射到部件ID与场景视角。首轮用60条现场口述提问测试，部件定位准确率约78%；错误主要集中在口语别称（如「底座」「机脚」指同一部位）和同型号多台设备混淆两类。

下一步计划：一是把设备位号与区域层级写入检索约束，减少同型号误匹配；二是对常用视角做缓存，把首次加载压到3秒内；三是评估移动端弱网下的降级方案，先保证「能定位」再谈「能对话」。