← 返回实验室

大模型设备排障问答:混合检索与引用溯源

在设备排障场景,一线工程师需要的不是一段流畅的解释,而是一条能落到具体章节、步骤与参数的回答。本阶段实验将大模型接入厂内维修手册、PLC 逻辑说明与近三年工单记录,构建混合检索问答链路:向量召回负责语义相似,型号与批次元数据过滤负责精确匹配,再由模型对候选片段重排并生成答案,输出必须携带原文出处与页码,便于工程师回查核对。

进展与数据:
1)离线评测 300 条真实排障提问,Top-5 片段召回率 87%,答案引用可核对率约 91%;对证据不足的问题按拒答处理,整体拒答率约 12%,其中误拒约 4%,主要集中在新机型手册缺失的条目。
2)下一步把回答入口接入工单系统,记录工程师的采纳、修改与跳过动作,形成“检索—回答—反馈”闭环,用于重排模型的小样本微调;同时补充手册版本差异标注,降低跨批次机型的引用错配。

当前判断:大模型在该场景的价值主要体现在检索后的组织与表达,而非替代知识库本身。检索质量与出处约束仍是主要瓶颈,模型侧的调优收益相对有限。

评论

更多研究动态

查看全部实验室 →