医疗场景的多模态，并不是把影像、文本、检验简单拼接。本月《医疗多模态辅诊实验室》围绕基层常见病分诊，做了一轮三模态融合的小样本验证，重点不在模型规模，而在模态缺失与信息冲突下的稳定性。
方法上，以影像编码为主干，主诉与现病史走轻量文本编码，检验数值按参考区间离散化后嵌入；训练阶段随机丢弃模态，使模型在仅有单模态输入时仍能给出可排序的参考建议。评测使用脱敏回顾性数据，覆盖约三千例、六类常见主诉。
进展与计划：
· 进展：完成三模态联合编码与缺失模态训练策略，搭建内部评测集；模态齐全时，融合结果对候选建议的排序优于单影像基线，单模态输入下性能下降但未失效。
· 下一步：接入结构化问诊模板，补充症状时序信息，并在不同机构数据上做外部验证，观察分布漂移下的表现。
需要说明：当前输出仅作为医生问诊的参考线索，不构成诊断结论。
评论