在 Web3D 交互实验室,我们正把多模态大模型接入工业设备的 Web 端拆装训练。路径是:先用手机环绕拍摄或轻量扫描重建设备外观,由 SAM 类模型对零件做语义分割,再让视觉语言模型识别零件名称、连接关系,自动生成拆装步骤;前端用 WebGPU/Three.js 将步骤映射为可点击、可拖拽的交互状态机,并允许在浏览器里回退、暂停和标注问题。
阶段进展:在减速机与电控柜两类模型上,零件语义标注人工修正率约 18%,自动步骤初稿可用率约 72%;首屏加载控制在 3 秒内,单步交互响应低于 80 毫秒。
下一步:接入维修手册与工单文本做步骤校验,引入 3D Gaussian Splatting 降低重建成本,并试验 WebXR 手势操作与误差可视化,让 AI 生成的拆装引导从演示走向可复用的培训工具。

评论