工业数字孪生看板搬到浏览器后，一个反复出现的问题是定位难：装配体动辄上千个零件，用户只能靠树形目录逐层展开或手动旋转视角寻找目标。本实验室近期围绕“用自然语言直接定位三维零件”做了一轮小规模验证。
做法分两段：离线对装配体做实例级分割与语义标注，用跨模态模型把每个零件（点云采样加多视角渲染）编码为向量；在线端在浏览器内用 WebGPU 跑轻量文本编码器，与预置向量做相似度检索，返回实例 ID 并驱动高亮与镜头对焦，全程不依赖服务端推理。
进展：在约 1200 个零件实例的装配体上，Top-1 命中率 78%，Top-5 命中率 93%，桌面 Chrome 下端到端检索延迟约 120 ms。
要点：
- 失败样本集中在对称件与外观一致的标准件，下一步引入装配层级与 BOM 文本描述做二次重排；
- 计划补充低端 GPU 与移动端的降级策略（减少渲染视角数、向量量化），并验证 5000 实例量级的检索耗时。
评论