医疗多模态辅诊AI实验：缺失模态下的融合稳健性

多模态辅诊的难点常不在模型结构，而在数据本身。影像序列、影像报告、检验指标三类输入中，能同时齐全的病例比例远低于预期，真实门急诊数据里常有一到两类缺失。实验室本阶段把重点放在「缺模态仍可用」，而非堆参数。

做法上，我们在共享编码空间内做三模态对齐：影像走预训练视觉编码器；报告经结构化抽取后与检验指标进入文本与数值混合编码器；再用对比学习约束跨模态相似度。训练时按概率随机屏蔽整条模态，迫使模型学会在缺失输入下退化为可用子集。推理端不强行补齐缺失模态，而是输出各模态的置信度与证据片段，便于医生判断结论来源。

阶段性进展：
1）在内部约1.2万例脱敏病例的回顾性测试中，三模态齐全时，融合模型对若干常见病种的辅助判别指标优于单模态基线；仅影像加检验两模态时下降有限，仅剩单一文本模态时下降明显，提示报告质量是当前主要瓶颈。
2）下一步计划：引入模态缺失下的置信度校准；把输出从分类标签扩展为结构化印象加证据引用；并与临床科室开展小规模前瞻性可用性评估，重点观察医生采纳率与报告书写效率。