医疗多模态辅诊：影像与病历融合的可行性验证

在《医疗多模态辅诊实验室》里，我们把「只看片子」和「只看病历」的做法放在一起比较：诊断线索常分散在影像、检查报告与检验指标中，任何单模态模型都会丢掉关键上下文。本阶段的目标不是训练一个「会看病的模型」，而是验证多模态融合在辅助场景下的可行边界。

进展上，我们搭了一条轻量基线：影像分支用公开胸部影像数据预训练，文本分支接入对应报告的结构化字段（部位、征象、程度），通过跨模态注意力做对齐，最终输出「提示项 + 报告草稿」两类结果。内部验证集上，引入文本分支后关键征象召回率相对单影像基线提升约 8 个百分点，报告草稿的字段完整度改善更明显；但假阳性同步上升，说明融合并非免费。

要点：
• 配对数据的质量比模型结构更影响结果，报告字段的规范化清洗带来的收益大于更换骨干网络；
• 下一步将纳入结构化检验指标，做模态缺失下的鲁棒性测试，并明确模型输出仅作为提示与草稿，由医生确认。