在医疗多模态辅诊实验室的近期实验中，我们把重点放在「影像—文本对齐」这一基础环节：将胸部CT、病理切片与放射/病理报告按患者维度配对，构建规模不大但标注严格的训练集。
进展要点：
- 采用双塔编码器加对比学习预训练，在院内约1.2万组影像—报告配对数据上做域内适配。报告结构化后拆分为「所见」「印象」两段分别对齐，病灶区域与关键描述句的跨模态检索Top-5命中率由基线61%提升至78%。
- 引入报告生成的可溯源约束：模型每句结论需指向对应图像区域与原始报告片段，医生可一键回溯，减少「看似合理但无依据」的表述。
下一步计划：扩充超声与内镜模态，验证跨模态迁移在低标注量科室的可用性；同时建立以医生修改率为核心的评测口径，而非仅看文本相似度指标。我们认为辅诊系统的价值不在替代判断，而在于把分散的影像与文本证据压缩成可核验的一条线索。
评论