← 返回实验室

医疗多模态辅诊:影像文本检验三源对齐实验

在门诊辅诊场景中,单模态模型在信息不全时容易给出偏乐观的判断。本期实验室把重点放在「三源对齐」:将胸部CT影像、放射报告文本与血常规/生化检验指标映射到统一的患者—时间轴上,使模型在任一模态缺失时仍能给出可解释的倾向性提示。

进展:

  • 已完成约1.2万例脱敏病例的三源结构化,影像切片与报告句级对齐覆盖率约86%。在「仅影像」「仅文本」「三源齐全」三种输入的对照实验中,三源齐全时对关键征象的召回提升约9个百分点;模态缺失时模型置信度可自动降级。
  • 报告文本采用句级切分与影像区域做弱监督关联,避免强依赖像素级标注,降低标注成本。

下一步聚焦两件事:一是把检验指标的时序变化纳入融合,捕捉炎症与代谢指标的动态趋势;二是将输出置信度与「建议人工复核」的触发条件联合校准,减少对临床流程的干扰。实验室不做诊断结论,只做信息整合与风险提示。

评论

更多研究动态

查看全部实验室 →