在医疗多模态辅诊实验室，我们近期把重点放在一个较窄但关键的问题上：如何让影像模型真正"用上"病历文本，而不是把两者简单拼接后交给一个更大的模型。
我们的做法是先做模态对齐，再做联合推理。影像侧采用公开数据集加院内脱敏数据的混合训练，文本侧以结构化病历字段为主，避免自由文本噪声干扰早期验证。对齐阶段使用对比学习，把同一病例的影像特征与文本特征拉近，并保留一个可解释的注意力输出，供临床复核时查看模型关注了哪些区域与字段。
阶段性进展：在内部验证集上，影像单模态与文本单模态的基线分别为 0.81 与 0.76（AUC），对齐后的联合模型提升至 0.86；对"影像正常但文本提示异常"这一易漏场景，召回率从 0.62 提升至 0.74。
下一步计划：一是引入时间维度，把多次检查的影像与病程记录做成序列输入；二是把不确定性输出接入医生复核流程，只在模型置信度较低时提示人工介入，减少无效告警。
我们对该方向的判断是克制而明确的：多模态的价值不在于堆模态，而在于对齐质量与临床可解释性。
评论