在门诊辅诊场景中，我们尝试把胸部CT影像、检验指标与既往病历文本放进同一编码空间。重点不是堆参数，而是让模型在给出结论时能同时指出依据：哪一层影像、哪一项化验、病历中的哪一句。
本阶段进展：
- 数据侧：完成约1.2万例脱敏样本的对齐，影像与报告的配对率约87%，检验时间窗收紧至就诊前72小时内；
- 模型侧：采用双塔加交叉注意力的轻量结构，罕见病组（占比不足3%）的召回较单模态文本基线提升约9个百分点，假阴性主要集中在影像质量差与既往史缺失的样本。
下一步计划：
- 引入报告生成作为辅助任务，检验证据对齐能否被文本反向约束；
- 在影像—文本之外补充时序特征（多次检验的变化趋势），观察对急症分诊的实际增益；
- 与临床科室共同梳理误报的可解释性清单，避免把“高置信度”当作“可采纳”。
需要说明的是，当前结论仅在回顾性数据上成立，尚不能替代医生判断。多模态并不天然等于更准确，数据配对质量往往比融合结构更关键。
评论