← AI 实验室

🩺 医疗多模态辅诊实验室

融合CT影像与电子病历文本,构建多模态辅诊模型,协助放射科医师完成肺结节、眼底病变等高准确率初筛与分级建议。

医疗多模态辅诊实验室:影像与病历对齐的阶段性进展

在辅助诊断场景中,影像与报告常是两条独立的数据流:影像给出解剖结构与病灶位置,报告记录医生对征象、程度与结论的语言描述。实验室近期的工作,是把两者映射到同一表示空间,而不是让模型只学其中一侧。 当前进展:以院内脱敏的胸部CT与配套报告为样本…

🩺 医疗多模态辅诊实验室2026-10-01

医疗多模态辅诊实验:影像文本检验融合

医疗场景的多模态,并不是把影像、文本、检验简单拼接。本月《医疗多模态辅诊实验室》围绕基层常见病分诊,做了一轮三模态融合的小样本验证,重点不在模型规模,而在模态缺失与信息冲突下的稳定性。 方法上,以影像编码为主干,主诉与现病史走轻量文本编码,…

🩺 医疗多模态辅诊实验室2026-09-30

医疗多模态辅诊:模态缺失下的融合实验

临床上很少有一次检查齐备的病例:影像、检验、病历文本往往缺一两种,而多数多模态模型默认模态齐全,一旦缺项性能骤降。本期实验围绕这一落差,尝试把「缺什么」显式建模。 做法上,训练阶段随机丢弃模态(丢弃率 20%~50%),并为每个模态加一个可…

🩺 医疗多模态辅诊实验室2026-09-30

医疗多模态辅诊:缺失模态下的融合鲁棒性实验

在真实门诊场景中,影像、检验与主诉文本三类模态往往并不齐备——基层机构缺影像序列,急诊缺既往报告。本期工作聚焦一个具体问题:当某一模态缺失时,融合模型如何保持建议的稳定性,而不是悄然退化为单模态模型。 进展: 采用模态丢弃训练配合门控融合,…

🩺 医疗多模态辅诊实验室2026-09-29

医疗多模态辅诊实验:影像文本融合的分诊提示探索

多模态辅诊的难点往往不在模型结构,而在数据对齐。影像、主诉文本、检验数值在时间戳、编码口径和缺失比例上差异很大,直接拼接容易让模型偏向样本最全的模态。 本实验室近期的阶段性工作,是把三类输入统一到同一序列表示:影像走视觉编码器,文本与检验项…

🩺 医疗多模态辅诊实验室2026-09-29

影像与病历多模态对齐:辅诊检索增强的阶段性进展

本期《医疗多模态辅诊实验室》的进展,围绕影像与临床文本的跨模态对齐展开。我们以胸部CT与配套中文报告为切入点,将影像编码器与报告编码器映射到同一向量空间做对比学习,再用检索增强的方式,为报告辅助生成与相似病例召回提供依据。选择这条路线的原因…

🩺 医疗多模态辅诊实验室2026-09-28

医疗多模态辅诊实验室:影像与病历融合的阶段性验证

在辅助诊断场景里,单一模态往往只回答一半问题:影像说明「看到什么」,病历与检验说明「为什么」。实验室近期的阶段性工作,是把胸部影像、结构化检验指标与自由文本病历做多模态融合,先跑通一条可被医生复核的工程链路,而不是追求端到端替代。 做法上采…

🩺 医疗多模态辅诊实验室2026-09-28

医疗多模态辅诊实验:影像与文本对齐的阶段性进展

在医疗多模态辅诊实验室的近期实验中,我们把重点放在「影像—文本对齐」这一基础环节:将胸部CT、病理切片与放射/病理报告按患者维度配对,构建规模不大但标注严格的训练集。 进展要点: 采用双塔编码器加对比学习预训练,在院内约1.2万组影像—报告…

🩺 医疗多模态辅诊实验室2026-09-28

医疗多模态辅诊实验:影像与病历对齐的阶段性进展

「医疗多模态辅诊实验室」近期完成一轮小规模内部验证:以胸部CT、结构化检验指标与门诊病历文本为三路输入,分别编码后在共享空间做跨模态对齐,目标任务为常见肺部病变的鉴别提示。样本取自院内脱敏回顾性数据,约4200例,按患者维度切分,避免同源泄…

🩺 医疗多模态辅诊实验室2026-09-27

医疗多模态辅诊AI实验:缺失模态下的融合稳健性

多模态辅诊的难点常不在模型结构,而在数据本身。影像序列、影像报告、检验指标三类输入中,能同时齐全的病例比例远低于预期,真实门急诊数据里常有一到两类缺失。实验室本阶段把重点放在「缺模态仍可用」,而非堆参数。 做法上,我们在共享编码空间内做三模…

🩺 医疗多模态辅诊实验室2026-09-27

医疗多模态辅诊实验室:影像与文本对齐的融合探索

在真实临床数据中,模态齐全的样本其实是少数:有的患者有影像却缺结构化检验,有的只有报告文本而原始影像已归档或由外院拍摄。本阶段实验室把重点放在多模态融合的两个基础问题上:影像与报告文本的配对对齐,以及模态缺失时的推理降级策略。 进展要点: …

🩺 医疗多模态辅诊实验室2026-09-27

医疗多模态辅诊:影像与病历融合的可行性验证

在《医疗多模态辅诊实验室》里,我们把「只看片子」和「只看病历」的做法放在一起比较:诊断线索常分散在影像、检查报告与检验指标中,任何单模态模型都会丢掉关键上下文。本阶段的目标不是训练一个「会看病的模型」,而是验证多模态融合在辅助场景下的可行边…

🩺 医疗多模态辅诊实验室2026-09-26

多模态辅诊实验:影像与病历融合的边界

医疗场景的难点往往不在单模态精度,而在信息天然分散:影像在PACS,结论在报告,背景在病历与检验单。本实验室近期把重心从「再训一个影像模型」转向多模态对齐与融合的工程路径。 进展:以胸部CT与对应报告文本为主干,构建影像—文本配对样本,先用…

🩺 医疗多模态辅诊实验室2026-09-26

医疗多模态辅诊:影像与文本对齐的阶段性实践

在医疗多模态辅诊实验室,我们近期把重点放在一个较窄但关键的问题上:如何让影像模型真正"用上"病历文本,而不是把两者简单拼接后交给一个更大的模型。 我们的做法是先做模态对齐,再做联合推理。影像侧采用公开数据集加院内脱敏数据…

🩺 医疗多模态辅诊实验室2026-09-26

医疗多模态辅诊实验:影像与文本对齐的阶段性进展

本期实验室把重点放在「影像—文本对齐」这一基础环节:将胸部 CT、X 光影像与主诉、检验、既往史等结构化文本映射到同一语义空间,用对比学习做模态对齐,再由轻量解码器生成结构化所见,供医生复核,而非直接给出结论。 要点一,数据侧:整理约 1.…

🩺 医疗多模态辅诊实验室2026-09-25

影像与病历多模态融合:辅诊模型的证据对齐试验

在门诊辅诊场景中,我们尝试把胸部CT影像、检验指标与既往病历文本放进同一编码空间。重点不是堆参数,而是让模型在给出结论时能同时指出依据:哪一层影像、哪一项化验、病历中的哪一句。 本阶段进展: 数据侧:完成约1.2万例脱敏样本的对齐,影像与报…

🩺 医疗多模态辅诊实验室2026-09-25

医疗多模态辅诊:影像文本检验三源对齐实验

在门诊辅诊场景中,单模态模型在信息不全时容易给出偏乐观的判断。本期实验室把重点放在「三源对齐」:将胸部CT影像、放射报告文本与血常规/生化检验指标映射到统一的患者—时间轴上,使模型在任一模态缺失时仍能给出可解释的倾向性提示。 进展: 已完成…

🩺 医疗多模态辅诊实验室2026-09-25

医疗多模态辅诊实验室:影像与病历融合的辅诊实验

医疗多模态辅诊实验室本期进展集中在影像与病历文本的跨模态对齐。我们将同一患者的胸部CT序列、放射报告与结构化检验指标按时间戳对齐,先建立单模态基线(影像分类、报告检索),再测试跨模态注意力融合。阶段观察:在院内脱敏回顾性数据上,融合模型的征…

🩺 医疗多模态辅诊实验室2026-09-24

医疗多模态辅诊:影像与文本对齐实验

在医疗多模态辅诊实验室的近期实验中,我们围绕“影像—文本对齐”验证了一条轻量路径:将胸部CT影像切片编码与临床病历、放射报告文本编码映射到同一表征空间,再用检索增强生成辅助报告草稿。不同于端到端黑箱,我们保留结构化模板与证据回链,让每条建议…

🩺 医疗多模态辅诊实验室2026-09-24

医疗多模态辅诊:影像与病历文本对齐实验

在《医疗多模态辅诊实验室》的当前阶段,我们收窄到一个具体问题:影像所见与病历文本的语义对齐,能否在有限标注下稳定支撑相似病例检索与提示生成。 做法上,以公开的胸部影像—报告配对数据为底座,采用图像编码器与文本编码器双塔结构做对比学习,再由小…

🩺 医疗多模态辅诊实验室2026-09-24