在《医疗多模态辅诊实验室》的当前阶段，我们收窄到一个具体问题：影像所见与病历文本的语义对齐，能否在有限标注下稳定支撑相似病例检索与提示生成。
做法上，以公开的胸部影像—报告配对数据为底座，采用图像编码器与文本编码器双塔结构做对比学习，再由小体量指令模型把检索到的相似病例转写为结构化提示。一条硬约束是文本侧必须保留否定与不确定表述（如“未见明确”“不除外”），避免在池化与对齐过程中被平均掉。
进展：在内部留出集上，跨模态检索 Recall@10 由约 0.62 提升至 0.78，报告关键实体（部位、征象、程度）抽取 F1 约 0.84；“不除外”这类表述的极性误判率降至约 7%。
下一步：接入脱敏院内数据做小样本微调，并建立“影像→文本→建议”三级可溯源输出，未达置信阈值时只返回检索证据、不给结论；同时量化不同扫描设备与科室书写习惯带来的域偏移。该实验定位为辅助检索与提示，不替代医师判断。
评论