在辅助诊断场景中，影像与报告常是两条独立的数据流：影像给出解剖结构与病灶位置，报告记录医生对征象、程度与结论的语言描述。实验室近期的工作，是把两者映射到同一表示空间，而不是让模型只学其中一侧。
当前进展：以院内脱敏的胸部CT与配套报告为样本，构建约1.2万组图文配对，采用影像编码器加文本编码器的对比学习框架。在报告级检索任务上，Top-5命中率由基线61%提升至78%；对“结节位置”“磨玻璃影”等短语的跨模态定位，可初步给出对应切片区间，但仍需放射科医师复核。
下一步计划：1）引入结构化报告字段，区分“所见”与“结论”，减少结论句对病灶定位的干扰；2）在2—3家合作医院开展小样本外部验证，重点观察不同设备与扫描参数下的性能衰减；3）把不确定性输出纳入界面，提示哪些病例应转人工。
我们不追求替代医生，而是先把“影像—文本”这条链路做稳，让检索、随访对比与报告初稿有可核查的依据。
评论