← 返回实验室

医疗多模态辅诊实验室:影像与病历融合的辅诊实验

医疗多模态辅诊实验室本期进展集中在影像与病历文本的跨模态对齐。我们将同一患者的胸部CT序列、放射报告与结构化检验指标按时间戳对齐,先建立单模态基线(影像分类、报告检索),再测试跨模态注意力融合。阶段观察:在院内脱敏回顾性数据上,融合模型的征象召回较纯影像基线有小幅提升,但对扫描参数与报告书写习惯较敏感,跨院数据上增益明显收窄。

要点一:现阶段不输出诊断结论,而是把融合结果定位为「提示与证据索引」——给出可疑征象、对应影像切片与病历片段,交由医生复核。
要点二:下一步计划接入随访与用药记录,补齐时序维度;同时引入医生在环的误差归因标注,用于区分模型错误与标注噪声。

需要说明的是,多模态融合的价值目前更多体现在降低信息检索成本、减少漏读,而非替代判读。实验室将继续在小样本、可回溯的前提下推进,对任何超出入组分布的输入保持谨慎。

评论

更多研究动态

查看全部实验室 →