多模态辅诊的难点往往不在模型结构，而在数据对齐。影像、主诉文本、检验数值在时间戳、编码口径和缺失比例上差异很大，直接拼接容易让模型偏向样本最全的模态。
本实验室近期的阶段性工作，是把三类输入统一到同一序列表示：影像走视觉编码器，文本与检验项做结构化 token 化，训练时引入模态缺失掩码，使模型在只有两项甚至一项输入时仍能给出稳定输出。内部回顾性评测中，三类数据齐全的病例，融合模型在分诊建议与医生最终科室的一致率上较单模态基线有可见提升；只有文本与检验时，性能下降幅度也小于简单拼接方案。
要点：
- 进展：完成三类模态统一编码与缺失掩码训练流程，支持任意模态子集推理。
- 下一步：接入生命体征时序，并将输出明确定位为“提示与待确认项”，在门诊场景做静默评估，结论仍由医生复核。
评论