← 返回实验室

大模型工艺知识问答评测:检索增强与引用溯源

本期进展来自大模型应用实验室。我们以工厂内部设备手册、工艺规范和近三年维修工单为语料,搭建了一套检索增强问答基线,验证大模型能否稳定回答“这台设备某报警怎么处理”这类现场问题。评测集由一线工程师出题,共 240 条,覆盖参数查询、故障处置、备件替代三类。

阶段性发现:
· 纯向量检索在型号、料号类问题上召回不稳。改为 BM25 与向量混合检索,并叠加设备型号元数据过滤后,Top5 命中率由 71% 提升至 88%;
· 工程师更在意“能不能点到原文”。我们将回答强制绑定原文片段与页码,检索不到可靠片段时直接拒答,误答明显减少,但拒答率仍偏高,是下一步重点。

下一步计划:接入工单系统,用真实维修结果反查答案有效性,并同步测试小参数模型在边缘侧的部署成本。

评论

更多研究动态

查看全部实验室 →