本期《医疗多模态辅诊实验室》的进展，围绕影像与临床文本的跨模态对齐展开。我们以胸部CT与配套中文报告为切入点，将影像编码器与报告编码器映射到同一向量空间做对比学习，再用检索增强的方式，为报告辅助生成与相似病例召回提供依据。选择这条路线的原因很直接：相比只输出一个结论的纯视觉模型，多模态检索给出的相似病例与原文片段，临床医生更容易理解和校验，出错时也更容易定位。
进展要点：在院内脱敏的约1.2万例影像—报告配对数据上完成内测，结节、实变、胸腔积液等关键征象的条目召回率较纯视觉基线提升约7个百分点；报告中的事实性错误（幻觉）下降约三成；单例检索与生成的总延迟控制在1.5秒内，采用院内推理为主、边缘节点做预处理的混合部署。
下一步计划：接入结构化电子病历与随访时序影像，验证“影像变化+既往病史”对随访对比描述的增益；同时在两个科室开展小样本医生盲评，重点关注漏报与过度提示两类错误，不以单一离线指标作为上线依据。
评论