医疗场景的难点往往不在单模态精度，而在信息天然分散：影像在PACS，结论在报告，背景在病历与检验单。本实验室近期把重心从「再训一个影像模型」转向多模态对齐与融合的工程路径。
进展：以胸部CT与对应报告文本为主干，构建影像—文本配对样本，先用视觉与文本编码器做对比预训练，再接入结构化检验指标做后期融合。在内部回顾性数据上，融合方案对若干病变的召回比单影像基线更稳，尤其在报告已提示、影像特征却不典型的样本中表现更明显；但对稀缺病种增益不稳定，样本量仍是主要瓶颈。
下一步三条线：一是验证模态缺失时的降级路径，保证只有影像或只有文本时输出仍可用、置信度可解释；二是把医生修改意见回流为偏好数据，做轻量对齐；三是核算融合带来的推理开销，确认能否在院内现有算力上落地。
评论