← 返回实验室

AI三维场景语义检索:自然语言定位产线设备

在浏览器端的三维数字孪生场景里,找一台设备通常靠层级树和命名规则:模型节点名为「LineA_Press_02」,非建模人员很难凭一句话定位到它。Web3D交互实验室近期做了一组实验,尝试把自然语言检索引入三维视口。

思路是把设备模型的两类信息对齐到同一向量空间:一类来自结构侧,包括节点层级、命名、标签与工艺属性;另一类来自视觉侧,用轻量多视角渲染图提取特征,弥补命名不规范的问题。查询时对文本做嵌入,在场景内做近邻检索,命中后驱动相机飞行、模型高亮与属性面板联动。推理在端侧完成,模型量化后随前端包体加载,避免每次查询都回传服务端。

进展与数据:在某装配产线的数字孪生场景(约1200个模型节点)中,Top-1定位准确率86%,平均响应380ms;对「三号工位那台拧紧机」这类口语化描述,较原有层级树关键字检索的命中率提升约40个百分点。下一步计划接入用户在视口内的点选与纠错反馈,做在线轻量微调,并支持多轮对话式的视角跳转。

评论

更多研究动态

查看全部实验室 →