在辅助诊断场景里，单一模态往往只回答一半问题：影像说明「看到什么」，病历与检验说明「为什么」。实验室近期的阶段性工作，是把胸部影像、结构化检验指标与自由文本病历做多模态融合，先跑通一条可被医生复核的工程链路，而不是追求端到端替代。
做法上采用分层对齐：影像走视觉编码器提取切片级特征，病历走医学预训练文本编码器，检验数值分箱嵌入后与文本拼接；融合层用交叉注意力做模态间对齐，输出征象级概率并附带证据片段。为贴近真实使用，我们把「模态缺失」当作常态而非异常来训练，随机屏蔽单模态并加入置信度门控。
进展与数据（内部回顾性脱敏样本，非临床结论）：
- 在约1.2万例内部集上，影像+病历双模态相比纯影像，对若干常见征象的召回有所提升，同时假阳性上升，需要靠阈值分层与证据展示帮助医生快速判读；
- 在单模态缺失设定下，性能下降明显小于直接拼接基线，说明门控与随机屏蔽训练确实起作用。
下一步：与临床科室开展小范围前瞻性试用，重点观察报告撰写耗时与修改率，并将影像、文本证据以可溯源方式呈现，保证每条建议都能回指原始片段。
评论