医院深夜的会议室，一盏顶灯照着一叠病历。坐在桌边的不是一位医生，而是三位——影像科的王医生抱着CT片筒，临床科的张医生捏着病历夹，检验科的李医生拎着生化检验单。奇怪的是，三个人面对同一名患者，给出的判断却各不相同：王医生说“阴影形态可疑”，张医生说“症状持续加重”，李医生说“指标偏离基线”。谁单打独斗都只能摸到大象的一条腿。只有当三份证据摊在同一条桌上，开始“会诊”，那模糊的阴影才渐渐拼出清晰的诊断轮廓。 多模态融合，就是让AI学会这套“会诊”的智慧：把影像、临床、实验室指标三种来源的证据，统一格式、补齐缺失、设计融合规则、给出可解释的理由，再以工程化的方式部署进真实医院。本文将带你完整走一遍从数据到落地的全流程。

岗位关联

如果你从事医疗AI的产品、算法或临床科研工作，理解多模态融合将直接提升你处理真实异构数据的能力，它是构建可信赖诊断系统的分水岭技能。

目录
  1. 可视化演示
  2. 模态解析
  3. 特征对齐
  4. 缺失数据处理
  5. 融合网络结构
  6. 模型可解释性
  7. 工程化落地
  8. AI 应用场景
  9. Python 演示
  10. 常见误区
  11. 面试题

可视化演示

演示影像、临床与实验室指标多模态特征对齐、融合网络与可解释性方法，实现联合诊断。

本节配有交互动效（进入视口后自动加载，约 3KB）。

特征对齐 影像 临床 Align→Emb 将异质模态特征对齐到公共空间

模态解析

会诊室的红灯亮了。胸外科主任把三位专家请进房间：影像科王医生抱着CT片筒，临床科张医生捏着病历夹，检验科李医生拎着生化检验单。他们围坐在长桌三侧，面对同一份病例却各执一词——CT里那个磨玻璃影、病历上那行“咳嗽带血半月”、化验单上标注升高的CEA，究竟是同一种病的三种侧面，还是三个互不相干的发现？

这正是多模态融合要回答的第一个问题：你面前的数据，到底有哪几本“卷宗”？在医学影像AI中，最常见的三本卷宗分别是：影像模态（CT、MRI、X光等像素矩阵）、临床模态（主诉、家族史、生命体征等结构化字段或病历文本）、实验室模态（血液生化、免疫组化等连续数值指标）。三者的物理形态完全不同——影像是一块块像素网格，临床是字段和文字，实验室是一列列实数。

形态不同意味着处理方式必须分而治之：影像适合用卷积网络提取纹理和空间结构；临床字段适合结构化编码或语言模型理解；实验室指标天然是数值向量，归一化后可直接进入全连接层。三者各归各册，才构成一条完整样本。

所以多模态融合的第一步，永远是先“识卷宗”——搞清楚每本卷宗的格式、尺度和信息密度，就像会诊前三位专家先各报一遍自己的专业范围。搞不清这一点，后面所有融合技巧都是无源之水。

x={x(img),x(cli),x(lab)}x = \{ x^{(\text{img})}, x^{(\text{cli})}, x^{(\text{lab})} \}
这份病例的全部信息，等于三本卷宗的集合：一本影像、一本临床、一本检验。
  1. 病例全量信息 $x$用同一个符号表示一份完整病例的全部证据，等号左边是“总卷宗夹”。
    xx
  2. 影像模态 $x^{(\text{img})}$上标 $\text{img}$ 代表影像科提供的CT/MRI数据，通常是一组像素矩阵。
    x(img)x^{(\text{img})}
  3. 临床模态 $x^{(\text{cli})}$上标 $\text{cli}$ 代表临床医生的问诊记录、体征与病史字段。
    x(cli)x^{(\text{cli})}
  4. 实验室模态 $x^{(\text{lab})}$上标 $\text{lab}$ 代表检验科返回的生化指标数值向量。
    x(lab)x^{(\text{lab})}
  5. 花括号 $\{ \}$表示三份卷宗被打包成一个集合，彼此并列、可被整体处理。
    {⋯ }\{ \cdots \}

特征对齐

会诊进行到十分钟，王医生忽然拍桌：“我这个结节直径是2.4厘米！”李医生扶了扶眼镜：“我的CEA单位是ng/mL。”张医生翻着病历：“患者说最近瘦了5公斤。”三个人面面相觑——讲的都是事实，却没有一个共同刻度能直接放进同一张表。

模型遇到一模一样的困境。影像特征的值域可能是0到255的灰度或卷积后的任意实数，临床字段的取值范围可能是0和1的二值标签，实验室指标的分布范围横跨好几个数量级。如果不做对齐直接拼接，数值大的模态会天然主导损失函数——模型会变成“只听得见嗓门最大的专家”。

特征对齐的常用手段包括三招：第一招是统计归一化，典型如 z-score，把每个模态的分布拉成均值0、方差1；第二招是时间对齐，影像采集和抽血采样之间存在时间差，需要用窗口把“同一时空状态”的数据配成对；第三招是空间配准，对不同设备、不同体位的影像做刚体或非刚体变换，统一到标准解剖模板。进阶做法是用嵌入层把各模态映射到同一公共语义空间，再学习跨模态的对应关系。

对齐做完，三位专家的“单位”终于统一成同一种语言。后续融合才不会出现“2.4厘米”和"ng/mL"直接相加的荒唐事。

x~(m)=x(m)−μ(m)σ(m)\tilde{x}^{(m)} = \frac{x^{(m)} - \mu^{(m)}}{\sigma^{(m)}}
对齐就是把每位专家的“私人单位”换算成统一标尺，让2.4厘米和ng/mL变成可以比较的同一类数。
  1. 原始特征 $x^{(m)}$第 $m$ 个模态的原始数值，量纲可能千差万别。
    x(m)x^{(m)}
  2. 均值 $\mu^{(m)}$训练集中该模态特征的均值，代表同模态数据的“一般水平”。
    μ(m)\mu^{(m)}
  3. 标准差 $\sigma^{(m)}$衡量该模态数据围绕均值的波动幅度。
    σ(m)\sigma^{(m)}
  4. 归一化结果 $\tilde{x}^{(m)}$原始值减去均值再除以标准差，得到均值约0、方差约1的统一尺度特征。
    x~(m)=x(m)−μ(m)σ(m)\tilde{x}^{(m)} = \frac{x^{(m)} - \mu^{(m)}}{\sigma^{(m)}}

缺失数据处理

会诊第二天，李医生因为临时急诊缺席了，桌上的化验单空白一角格外刺眼。王医生和张医生面面相觑：这场会诊还开得下去吗？当然开得下去——因为医院早有预案。

现实中的医疗数据极少是完整的：设备故障导致某次CT未采集，患者晕针导致血样不足，历史病历转抄时漏掉了体温字段。如果把所有不完整的样本都删掉，留下的往往是“太完美反而不典型”的偏置数据集。

处理缺失有四档常用对策。第一档是零填充：把缺失位置直接置0，实现最简单，但会把“缺失”与“真实低值”混为一谈。第二档是均值插补：用训练集该特征的均值填入，方差会被压缩。第三档是模型插补：用回归或最近邻从其他模态预测缺失值，充分利用模态间相关性。第四档是模态丢弃训练：训练时随机把某一路输入置为缺失，让模型学会“没有这位专家也能决策”，推断时若真缺某一模态，模型依然稳健。

好的会诊团队，不追求每场都全员到齐，而是保证有人缺席时依然能给出不降级的判断。模态丢弃训练的哲学正是如此。

x^=x⊙v+(1−v)⊙xˉ\hat{x} = x \odot v + (1 - v) \odot \bar{x}
掩码向量 $v$ 像一张“到场签到表”：1表示专家在场、保留原始证据；0表示缺席、用插补值顶上。
  1. 掩码向量 $v$每个位置取值1表示该维度数据存在、0表示缺失，长度与特征一致。
    vv
  2. 存在部分 $x \odot v$逐元素相乘后只保留真实存在的值，缺失位置被清零。
    x⊙vx \odot v
  3. 缺失部分 $(1-v) \odot \bar{x}$掩码取反后，缺失位置填入插补值 $\bar{x}$（如均值）。
    (1−v)⊙xˉ(1 - v) \odot \bar{x}
  4. 插补结果 $\hat{x}$两部分相加得到一个完整无缺的特征向量，可直接送入下游网络。
    x^\hat{x}

融合网络结构

三张卷宗整整齐齐摆在桌上，会诊流程怎么走？张医生提议：“把三份资料全部分发，大家一起看，一起讨论。”王医生反对：“我先把CT读透，你们也各自读完，最后各给各的结论，投票决定。”李医生折中：“读一半交换一下发现，再继续读。”

这三种会诊风格，恰好多模态融合网络的三种经典架构。早期融合：特征提取前就把三路原始输入拼接起来一起喂给模型——信息最早交汇，但不同模态维度差异大、噪声互相干扰。晚期融合：每路模态先独立跑一个分支网络，各自输出结论后拼接再决策——实现简单、可并行，但模态间的精细交互没有被学到。中间融合：各分支先各自提取中高层特征，在网络深处的若干层进行特征交叉——最灵活，也最常用。

比“在哪融合”更高级的问题是“融合时谁说了算”。注意力融合机制可学习地为每个模态分配权重：先用一个查询向量与各模态特征做相似度打分，再用softmax归一化成权重，最后加权求和。这一招就像会诊主持人——不按嗓门大小，而是按发言质量分配时间。

选哪种会诊风格，取决于病例性质：模态强独立的选晚期融合，强互补的选中间融合，追求速度的早期融合有天然优势。没有绝对最好，只有因地制宜。

z=∑m=13exp⁡(em)∑m′=13exp⁡(em′)hmz = \sum_{m=1}^{3} \frac{\exp(e_m)}{\sum_{m'=1}^{3} \exp(e_{m'})} h_m
注意力权重就是每位专家的“发言时间占比”：谁的观点对当前决策更关键，谁就获得更大的话语权。
  1. 专家特征 $h_m$第 $m$ 路分支输出的高层特征，相当于一位专家发言的“要点小结”。
    hmh_m
  2. 相关度得分 $e_m$用查询向量与 $h_m$ 做点积，衡量这条信息对当前决策有多关键。
    eme_m
  3. softmax 分母 $\sum_{m'} \exp(e_{m'})$对三个得分做归一化，确保所有权重之和为1。
    ∑m′=13exp⁡(em′)\sum_{m'=1}^{3} \exp(e_{m'})
  4. 注意力权重$\exp(e_m)$ 除以总和，得到第 $m$ 位专家在融合中的“发言时间占比”。
    αm=exp⁡(em)∑m′exp⁡(em′)\alpha_m = \frac{\exp(e_m)}{\sum_{m'} \exp(e_{m'})}
  5. 融合向量 $z$按权重对三个分支特征加权求和，得到综合三路信息的统一表示。
    z=∑m=13αmhmz = \sum_{m=1}^{3} \alpha_m h_m

模型可解释性

患者家属拦住会诊室的门：“你们凭什么说是恶性肿瘤？”王医生摊开CT片，用红笔圈出那片磨玻璃影：“你看这里，边缘毛刺。”李医生亮出化验单：“CEA连着三个月往上走。”张医生合上病历：“加上他吸烟30年。”

AI模型给出诊断结论时，医生同样会问“凭什么”。如果模型只说“概率0.87”却解释不了依据，临床上没人敢签字。可解释性不是锦上添花，而是医疗AI的最低安全要求。

现在最常用的可解释性手段有四类。一类是热力图（Grad-CAM），在影像原图上用颜色叠加标出模型关注的区域，等价于王医生的红笔圈注。二类是注意力权重可视化，展示各模态被分配的权重，让医生看到“模型主要参考了影像还是化验”。三类是特征归因（SHAP），对每个特征计算对预测的边际贡献，回答“这个CEA值抬高了多少风险”。四类是结构化诊断报告，把上述证据汇编成人类可读的结论页。

可解释性就是一份会诊记录——不仅告诉医生“结论是什么”，更告诉医生“结论是怎么来的”。有了这份记录，医生才敢把AI的判断签进自己的处方单。

Lc=ReLU(∑kαkcAk)L^{c} = \mathrm{ReLU}\left( \sum_{k} \alpha_k^{c} A_k \right)
Grad-CAM 的思想就是：把最后一层卷积里“最支持肿瘤判断”的那些通道挑出来叠加，生成一张圈出病灶的热力图。
  1. 卷积特征图 $A_k$最后一层卷积输出的第 $k$ 个通道，保留了空间位置信息。
    AkA_k
  2. 类别梯度权重 $\alpha_k^{c}$对类别 $c$ 的梯度做全局平均池化，表示第 $k$ 通道对判断“肿瘤”有多重要。
    αkc\alpha_k^{c}
  3. 加权求和把各通道按重要度叠加，得到一张类别响应热图。
    ∑kαkcAk\sum_k \alpha_k^{c} A_k
  4. ReLU 截断只保留正值，过滤掉“反对诊断”的干扰区域，突出支持结论的证据。
    ReLU(⋅)\mathrm{ReLU}(\cdot)

工程化落地

会诊制度定了、专家队伍齐了，院长却不肯批预算。他说：“你们把流程画成标准作业指导书、定好质控指标、先拿100个病例试跑三个月，再谈全院推广。”医生们恍然大悟——再好的会诊方案，也得靠制度才能跑起来。

AI模型从论文走向生产，同样是一条制度化之路。第一步是数据管道：把影像归档系统（PACS）、检验科（LIS）、电子病历（EMR）的数据定时抽取、清洗、特征对齐、写入特征仓库，保证模型每次读到的数据与训练时同分布。第二步是概念验证（POC）：在离线数据集上做回顾性验证，确认AUC、敏感度和特异性达标，再设计前瞻性临床观察。

第三步是监控，这是最容易被忽略的一环。医院换了新CT设备、检验试剂批次变化、电子病历系统升级，都会造成特征漂移——模型输入分布变了，预测可靠性随之下降。需要用群体稳定性指数（PSI）或KL散度持续监控每个特征，漂移超阈值就触发告警。第四步是迭代：定期用新数据重训或微调模型，通过版本回滚保证线上永远运行的是已验证的方案。

会诊制度能长期运转，靠的不是某位名医的个人魅力，而是标准流程和质控闭环。多模态融合模型落地亦然——算法只是起点，工程化才是终点。

AUC=1n+n−∑i∈D+∑j∈D−1[si>sj]AUC = \frac{1}{n^{+} n^{-}} \sum_{i \in D^{+}} \sum_{j \in D^{-}} \mathbb{1}\left[ s_i > s_j \right]
AUC 回答的问题是：随机抽一位患者和一位健康人，模型有多大概率把患者排在前面。0.9 意味着九成情况下排序正确。
  1. 正负样本集 $D^{+}, D^{-}$确诊患者与未确诊人群的集合，是验证模型区分的两类对象。
    D+,D−D^{+}, D^{-}
  2. 样本数量 $n^{+}, n^{-}$两类样本的个数，用于把计数归一化到0到1之间。
    n+,n−n^{+}, n^{-}
  3. 模型得分 $s_i, s_j$模型对每位患者输出的恶性概率评分。
    si,sjs_i, s_j
  4. 指示函数 $\mathbb{1}[s_i > s_j]$正样本得分高于负样本则计1，否则计0。
    1[si>sj]\mathbb{1}[s_i > s_j]
  5. AUC 含义遍历所有正负样本对并统计排序正确的比例，越接近1区分能力越强。
    1n+n−∑i∈D+∑j∈D−1[si>sj]\frac{1}{n^{+} n^{-}} \sum_{i \in D^{+}} \sum_{j \in D^{-}} \mathbb{1}[s_i > s_j]

AI 应用场景

肺结节良恶性联合诊断

阶段：临床辅助诊断

解决的问题：传统胸外科医生只看单一CT，对磨玻璃结节难以定良恶性，容易造成过度活检或漏诊。融合模型把CT影像、患者吸烟史（临床）和肿瘤标志物CEA（实验室）结合，显著降低误判率。

具体案例：某三甲医院在肺癌筛查中部署多模态融合模型，输入低剂量CT、电子病历摘要和血常规指标，输出恶性概率并附热力图。回顾性验证中，融合模型AUC达0.92，而单模态CT基线只有0.84。

阿尔茨海默症早期筛查

阶段：风险预警

解决的问题：认知量表受主观性影响大，MRI海马体积变化出现较晚；融合血液p-tau蛋白等生物标志物，可在轻度认知障碍阶段就发出预警。

具体案例：记忆门诊采用30分钟多模态评估流程，模型同时输入脑部MRI、认知量表得分和血液蛋白指标，输出“脑萎缩地图+关键量表条目+蛋白标志物贡献”三合一报告，医生据此向家属解释干预方案。

体检中心“健康会诊报告”

阶段：决策支持

解决的问题：传统体检报告各科分离，没人把胸部CT、血检和生活方式问卷统筹出结论。融合模型自动生成“整合式异常提醒”，把孤立指标拼成完整健康画像。

具体案例：某体检机构为35万会员生成“多指标联合风险报告”，把肺部影像结节、甘油三酯、BMI问卷结合，标记出“代谢-呼吸联合风险”人群，并推送对应的随访建议。

Python 演示

python46 行
import numpy as np def softmax(logits):    logits = logits - np.max(logits)    return np.exp(logits) / np.sum(np.exp(logits))  class MultimodalFusion:    """三位专家（影像、临床、检验）的会诊融合模型"""     def __init__(self, dims=(64, 8, 16)):        self.dims = dims        self.keys = [np.random.randn(d) for d in dims]        self.query = np.random.randn(8)     def align(self, x_img, x_cli, x_lab):        """特征对齐：L2 归一化消除量纲差异"""        def l2_norm(x):            norm = np.linalg.norm(x)            return x / (norm + 1e-8)        return l2_norm(x_img), l2_norm(x_cli), l2_norm(x_lab)     def attention_fuse(self, feats):        """注意力融合：按相关度分配发言权重"""        scores = np.array([self.query @ k for k in self.keys])        alpha = softmax(scores)        fused = sum(a * f for a, f in zip(alpha, feats))        return fused, alpha     def predict(self, x_img, x_cli, x_lab):        x_img, x_cli, x_lab = self.align(x_img, x_cli, x_lab)        fused, alpha = self.attention_fuse([x_img, x_cli, x_lab])        logit = fused.mean()        prob = 1.0 / (1.0 + np.exp(-logit))        return prob, alpha  if __name__ == "__main__":    np.random.seed(42)    model = MultimodalFusion()    x_img = np.random.randn(64)    x_cli = np.random.randn(8)    x_lab = np.random.randn(16)    prob, alpha = model.predict(x_img, x_cli, x_lab)    print(f"恶性概率: {prob:.3f}")    print(f"注意力权重 -> 影像: {alpha[0]:.3f}, 临床: {alpha[1]:.3f}, 检验: {alpha[2]:.3f}")
目的：用NumPy从零实现一个多模态注意力融合分类器，演示“特征对齐→注意力加权→概率输出”的完整链路。
  1. def align(self, x_img, x_cli, x_lab)特征对齐入口，分别对三路输入做L2归一化，模拟“统一单位”。
  2. l2_norm(x)每个向量除以自身模长，把量纲差异抹平，只需一行。
  3. scores = np.array([self.query @ k for k in self.keys])用查询向量与各模态关键向量做点积，计算“发言质量分”。
  4. alpha = softmax(scores)把三个原始得分归一化为权重，保证和为1。
  5. fused = sum(a * f for a, f in zip(alpha, feats))加权求和，得到综合三路证据的融合向量。
  6. logit = fused.mean()把高维融合向量压缩成一个决策得分。
  7. prob = 1.0 / (1.0 + np.exp(-logit))Sigmoid 把得分映射到0到1的恶性概率。

常见误区

误区既然是融合，那影像、临床、检验、基因、语音全都塞进模型，信息量越大，诊断一定越准。

正解模态不是越多越好。含噪声大或与任务弱相关的模态会稀释有效信号，甚至让注意力权重被噪声吸引，降低整体AUC。会诊也不是人越多越好——拉一位不懂肺病的儿科医生进来，只会添乱。正确的做法是逐一评估每个模态的边际贡献，剔除无增益项。

为何常见：人们容易把“信息量”与“有效性”画等号，忽略了噪声和冗余的代价。

误区把影像特征向量、临床特征向量、实验室特征向量用 `concat` 拼起来喂给分类器，这就是多模态融合。

正解直接拼接只是“把三本卷宗摞在一起”，没有解决尺度不一致、时间不对齐、模态间优先级等问题。若不先做特征对齐和权重设计，数值范围大的模态会主导梯度，模型退化成“只听一位专家的话”。

为何常见：拼接实现最简单、代码最直观，容易被误认为“已经做完融合了”。

误区某病例缺了实验室指标，这条数据就不完整，直接删掉最安全。

正解删除样本会浪费宝贵标注，还引入选择偏倚——完整记录的病例往往病情更典型。更优做法是插补（均值、回归）或模态丢弃训练，让模型学会在缺失条件下依然稳健推理。

为何常见：数据清洗课程强调“去脏数据”，初学者容易把“缺失”等同于“脏”。

误区注意力权重高，就说明这个模态和特征一定导致了这个诊断结果。

正解注意力权重只表示模型计算时的加权倾向，不是严格的因果证据。权重高可能只是因为该模态整体数值模式与训练集更接近。要回答“为什么诊断”，需要SHAP或Grad-CAM等专门归因方法。

为何常见：注意力可视化直观、漂亮，人们容易把“关注”误解为“原因”。

误区离线验证AUC达到0.95，模型就可以部署到临床。

正解离线精度高不等于生产中可靠。新设备导致特征漂移、不同院区数据分布差异、医生使用习惯都会让线上性能跳水。必须做好数据管道、漂移监控和定期迭代。

为何常见：论文思维和工程思维脱节，离线指标是大多数研究者唯一的评价标准。

面试题

Q1. 多模态融合中“特征对齐”的主要目的是什么？

单选题 · easy

  • A.压缩影像数据的存储空间
  • B.统一不同模态的表示空间← 正确答案
  • C.将临床数据转为图像格式
  • D.降低模型训练的计算开销

答案：B。特征对齐的目的是消除模态间量纲、尺度和分布的差异，让它们进入统一的表示空间后才好比较与融合。压缩存储、转图像格式、降计算量都不是对齐的本意。

Q2. 某病例缺少实验室指标，较合理的处理方式是？

单选题 · mid

  • A.直接删除这条完整病例
  • B.对该样本全部特征置零
  • C.用均值插补缺失模态特征← 正确答案
  • D.完全拒绝模型进行预测

答案：C。均值插补利用训练集的总体水平填充缺失值，保留样本的同时不引入极端值。删除样本会损失信息并引入偏倚；全部置零会把“缺失”与“真实低值”混淆；拒绝预测则让模型失去应用价值。

Q3. 早期、晚期、中间融合的本质区别是？

单选题 · mid

  • A.训练数据批次的先后顺序
  • B.特征在何阶段完成拼接← 正确答案
  • C.损失函数使用的先后顺序
  • D.数据增强策略的差异

答案：B。三类融合是按“多模态特征在哪一网络阶段合流”划分的：输入层拼接是早期，输出层拼接是晚期，深层特征交叉是中间融合。与训练批次、损失顺序和数据增强无关。

Q4. 注意力融合中softmax权重之和为1意味着？

单选题 · hard

  • A.各模态的贡献必然完全相同
  • B.权重反映模态间相对重要性← 正确答案
  • C.模型只选择最优单个模态
  • D.注意力权重永远不受梯度影响

答案：B。softmax把各模态的相关度得分归一化成总和为1的权重，其含义是“相对重要性”——不是平均分配，也不代表只选一个模态。权重本身是模型学出来的，会随梯度更新而变化。

Q5. Grad-CAM热力图的主要作用是？

单选题 · easy

  • A.加速模型的推理时间
  • B.高亮模型关注的图像区域← 正确答案
  • C.替代常规的损失函数
  • D.提高训练数据增强强度

答案：B。Grad-CAM把梯度信息加权到最后一层卷积特征图上，生成与原图叠加的热力图，回答“模型看的是哪里”。它不改变模型速度，也不参与损失计算或数据增强。

Q6. 处理模态缺失的常用方法包括？

多选题 · mid

  • A.均值插补缺失特征值← 正确答案
  • B.训练随机模态丢弃← 正确答案
  • C.回归插补其他模态预测← 正确答案
  • D.只增大模型参数量

答案：ABC。均值插补用总体均值填充、模态丢弃训练让模型适应缺模态推断、回归插补用其他模态预测缺失值，三者都是成熟方案。只增大参数量与处理缺失无关，反而可能加重过拟合。

Q7. 为什么直接零填充可能损害融合效果？

单选题 · extreme

  • A.零值会显著增加内存的占用
  • B.缺失与真实零值被混淆← 正确答案
  • C.零填充会导致梯度直接爆炸
  • D.零填充增加数据采集成本

答案：B。零填充的问题在于模型无法区分“此处缺失”和“此处本来就是0”。例如CEA真实值恰好接近0的患者与缺失CEA的患者被填入同一个值，特征分布被人为扭曲，融合权重也随之失真。

Q8. 以下哪些属于特征对齐的具体操作？

多选题 · mid

  • A.对实验室指标做z-score归一化← 正确答案
  • B.影像与病历按时间窗口配对← 正确答案
  • C.多模态特征嵌入到公共空间← 正确答案
  • D.对图像做随机水平翻转增强

答案：ABC。z-score归一是统计对齐、时间窗口配对是时间对齐、嵌入公共空间是语义对齐，都是特征对齐的典型手段。随机水平翻转属于数据增强，不改变模态间的对齐关系。

Q9. 多模态融合相比单模态诊断的主要优势是？

单选题 · easy

  • A.减少数据采集和标注成本
  • B.利用互补信息提升诊断稳健性← 正确答案
  • C.必然提升所有评测的指标
  • D.彻底消除模型过拟合风险

答案：B。多模态的核心价值在于互补——影像看到结构、化验看到分子、临床看到时间线，合起来减少盲区。它不会必然提升所有指标，也不能替代数据采集，更无法根除过拟合。

Q10. 关于可解释性与临床信任，下列说法正确的是？

多选题 · hard

  • A.热力图可辅助医生定位关注病灶← 正确答案
  • B.注意力权重能完全解释模型因果
  • C.结构化报告能提升临床医生信任← 正确答案
  • D.SHAP归因反映特征的边际贡献← 正确答案

答案：ACD。热力图定位病灶、结构化报告增强信任、SHAP量化边际贡献，都是合规的可解释性手段。注意力权重只是计算倾向的指示，不是严格的因果解释，临床上不能作为归因依据。