← 返回实验室

医疗多模态辅诊:影像与文本对齐实验

在医疗多模态辅诊实验室的近期实验中,我们围绕“影像—文本对齐”验证了一条轻量路径:将胸部CT影像切片编码与临床病历、放射报告文本编码映射到同一表征空间,再用检索增强生成辅助报告草稿。不同于端到端黑箱,我们保留结构化模板与证据回链,让每条建议可回溯到具体影像区域和病历句段。

进展:在院内脱敏回顾集上,模型对病灶提及的召回率较单模态文本基线提升约8个百分点,报告关键字段完整度提升至91%,但跨设备图像与罕见表述仍是主要误差来源。

下一步:引入时间序列影像与多科室文本,做多中心外部验证;同时把不确定性估计加入输出,低置信片段仅提示复核,不直接生成结论。

评论

更多研究动态

查看全部实验室 →