AI生成Web3D维修指引：语义装配与交互验证

在Web3D交互实验室，我们尝试将大模型与Web3D引擎结合，面向设备售后维修场景，把维修手册文本自动转为可交互3D步骤。方法：先用LLM抽取零件、动作、工具与约束，映射到轻量glTF模型；再在浏览器端用状态机驱动高亮、剖切和动画，用户可旋转、拆解并回答检查点。阶段进展：在20份典型维修手册上，步骤拆解准确率约82%，零件映射召回约76%，单场景首包加载控制在3MB内。下一步：引入视觉语言模型对实拍照片做故障定位，并加入多人协同标注，验证远程指导中的交互延迟与理解偏差。要点：1) 语义到3D的中间表示采用JSON-LD，便于人工校对；2) 浏览器端推理仅做轻量意图分类，重任务留在服务端。