临床上很少有一次检查齐备的病例：影像、检验、病历文本往往缺一两种，而多数多模态模型默认模态齐全，一旦缺项性能骤降。本期实验围绕这一落差，尝试把「缺什么」显式建模。
做法上，训练阶段随机丢弃模态（丢弃率 20%~50%），并为每个模态加一个可学习的可用性门控，让融合层按实际到齐的模态重新分配权重；推理时不插补缺失数据，也不依赖任何单一模态。
在院内回顾性数据集（约 1.2 万例、三类辅诊任务）上，全模态基线平均 AUC 为 0.86；模拟缺失 40% 模态后降至 0.78，加入门控与丢弃训练后回升至 0.84，接近全模态水平，代价是训练轮次增加约三成。
下一步三点：一是前瞻性「静默」验证，模型只输出提示、不进医生工作流；二是补跨院外部测试，重点观察设备差异与报告书写习惯带来的漂移；三是把门控权重可视化，让医生看到判断主要来自哪一模态。
评论