← 返回实验室

多模态大模型图纸理解实验:电气符号与连线核对

大模型应用实验室近期围绕多模态大模型在电气图纸理解场景开展阶段性实验,目标是验证通用视觉语言模型能否在专业工程图纸上完成符号识别与连线关系核对,为后续图纸校审与竣工图比对工具积累方法基础。实验基于开源多模态模型,构建了约1200张电气原理图评测集,覆盖常用低压元器件符号与典型回路结构,采用“检测定位—符号分类—连线解析”三段式流程,以降低单次端到端输出的漏检风险。
阶段性结果:

  • 符号分类任务经LoRA微调后,Top-1准确率由72.4%提升至91.6%,断路器、接触器、热继电器等高频符号表现稳定;
  • 连线关系核对仍是主要瓶颈,交叉走线与跨页连接符场景错误率约18%,主要源于细粒度空间关系建模能力不足。

下一步计划引入版面解析与图结构先验,将连线核对转化为图匹配问题,并扩充跨页图纸样本,预计下一阶段完成端到端比对原型。团队将持续记录实验数据与方法论,欢迎关注后续进展。

评论

更多研究动态

查看全部实验室 →