多模态情感数据集SEMAINE：一场帮 AI 学会“读心”的真人秀

CH-27-04-032·约 19 分钟·多模态与音视频AI·更新 2026-08-13

想象你是一档《真情告白》真人秀的导演。你的任务是捕捉参赛者最真实的情感瞬间，为此你需要搭建一座能激发情绪的舞台，架好麦克风和摄像机，再请一群评委反复观看素材、各自给出判断。AI 工程师的工作和这位导演惊人地相似：舞台是实验环境，麦克风与摄像机是音频、视频和生理传感器，而那些反复看素材的评委，就是训练数据背后的一名名标注员。他们共同产出的“综艺节目”，在人工智能世界里叫作多模态情感数据集。 SEMAINE 就是其中最经典的一档“情感真人秀”：真人参赛者和四个性格迥异的虚拟主持人实时对话，摄像机同步记录语音、表情和肢体动作，评委再按专业的情绪量表逐帧打分。另一档 DEAP 则更像“音乐挑战赛”，用 40 段音乐 MV 诱发情绪，同时记录脑电波等生理信号。本文会用这场“真人秀导演课”作为主线，从舞台搭建、多机位拍摄、评委打分，到后期剪辑与节目上线，带你把 SEMAINE 和 DEAP 的技术本质摸个透。

岗位关联

学透这两个数据集，你就掌握了多模态情感计算的标准剧本：如何设计采集协议、如何做多模态标注、如何预处理时序信号、如何评估模型——这正是实时人机交互系统落地的关键基本功。

可视化演示
情感数据价值
SEMAINE详解
DEAP对比
标注体系
工程预处理
评估调优
AI 应用场景
Python 演示
常见误区
面试题

可视化演示

动态演示多模态情感数据集SEMAIN的核心机制，通过源头/管道/节点/终端四种模式展示关键概念与交互流程。

本节配有交互动效（进入视口后自动加载，约 3KB）。

多模态情感数据集SEMAIN：多模态情多模态情感数据集概述与标准化需 SEMAINE数据集与人工情感核心机制可视化多模态情感数据集SEMAIN整体架构与关键组件

情感数据价值

真人秀的第一步不是架摄像机，而是想清楚“为什么要做这档节目”。二十年前，AI 就像一个从没看过任何真人秀的机器人，看到一张笑脸只识别出“嘴角上扬的角度”，却不知道这代表开心还是尴尬。原因很简单：它没有见过足够多、足够真实的情感素材。情感多模态计算的起点正是这个问题——想让机器理解情绪，先要给它准备一套系统化的“教材”。

这套教材就是多模态情感数据集。所谓多模态，指的是同时记录语音、面部表情、肢体动作、生理信号等多种渠道的信息，就像真人秀里同时开着的全景摄像机、特写镜头和随身麦克风。单独看任何一路信号都可能误判：有人生气时反而会笑，有人紧张时声音仍然平稳。但如果把语速、音调、表情和心跳放在一起看，真相就清晰多了。SEMAINE 和 DEAP 这两套数据集，正是这个领域应用最广泛的“教材”。

从工程角度看，数据集本身就是一个结构化的集合：每个样本都对应一段人物表现的情感片段，这段片段被多个传感器“同时拍到”，并且附有标注员打上的情感标签。这个结构决定了后续所有模型的设计方式。

回到真人秀的比喻：数据集就是你的“播出素材库”，每一期节目（样本）都包含多机位素材（多模态）和评委的最终评分（标签）。素材库的拍摄质量和打分规范，直接决定了观众——也就是 AI 模型——能从中学到多少真东西。

\displaystyle \mathcal{D} = \left\{ \left( x^{(i)}_1, x^{(i)}_2, \ldots, x^{(i)}_M, y^{(i)} \right) \right\}_{i=1}^{N}

这条式子定义了情感数据集的骨架：N 个样本，每个样本包含 M 路模态信号，外加一个情感标签 y。

样本序号 $i$上标 $(i)$ 表示这是数据集中的第几个样本，相当于真人秀的第几期节目。
$(i), \quad i = 1, 2, \ldots, N$
模态序号 $m$下标 $m$ 表示第几路传感器信号，$M$ 就是模态总数，比如语音、视频、生理三路，$M=3$。
$m = 1, 2, \ldots, M$
单路模态 $x^{(i)}_m$第 $i$ 个样本在第 $m$ 个模态上的原始记录，形如一段波形或一帧帧画面。
$x^{(i)}_m$
情感标签 $y^{(i)}$第 $i$ 个样本对应的情感标准答案，可以是分类标签，也可以是连续数值。
$y^{(i)}$
整体集合 $\mathcal{D}$把 N 个样本的全部信息打包，就构成了供模型学习的数据集。
$\mathcal{D} = \left\{ \left( x^{(i)}_1, x^{(i)}_2, \ldots, x^{(i)}_M, y^{(i)} \right) \right\}_{i=1}^{N}$

SEMAINE详解

节目筹备的关键是设计“舞台机关”。SEMAINE 的聪明之处在于，它专门搭建了一个能把人情绪“逗出来”的环境：让真人和一个会说话的虚拟主持人实时聊天，主持人轮流用四种人格刺激对话者。这套玩法在论文里叫 Sensitive Artificial Listener（SAL，敏感人工倾听者）——一个不完全像真人，但足够有代入感的虚拟倾听者，能让被试验者放下戒备，露出更自然的情绪。

四个虚拟主持人相当于四个“情绪勾子”：快乐型人格不断讲笑话与赞美，愤怒型人格故意抬杠，忧郁型人格唉声叹气，暴躁型人格动不动打断你。被试验者和每位主持人都聊上几分钟，不同风格的对话就会把喜悦、烦躁、惊讶、无奈等各种情绪“钓”出来。采集设备则在旁边全程干活：麦克风收语音，摄像机拍面部表情，动作捕捉记录身体姿势，各条信号通过统一的时钟保持同步。

这样录出来的数据天然适合研究“实时交互”——因为对话是即时的，情绪是流动的，而不是对着镜头摆拍。在多模态建模时，后期融合各路信号是非常自然的思路：三个模态各自给出判断，再按可信度加权汇总。

这场“情感真人秀”的分镜设计告诉我们一个道理：好的数据集不只是记录情绪，更是通过交互设计主动唤醒情绪。拿到 SEMAINE 训练模型时，你学的不仅是人类的表达方式，还有“在何种互动下情绪会如何变化”——这正是实时人机交互最需要的知识。

\displaystyle \hat{y}_{\text{final}} = \sum_{m=1}^{3} w_m \cdot s_m

这是常用的“决策级融合”：语音、表情、生理三路模型的判断按权重相加，得到最终情绪结论。

模态数固定为 3这里把模态精简为语音、表情、生理三大类，对应 SEMAINE 的核心信号通道。
$m = 1, 2, 3$
单模态得分 $s_m$第 $m$ 个模态的模型对当前情绪的评分，比如语音模型觉得“愉悦度 0.6”。
$s_m$
权重 $w_m$每个模态的信任权重，噪声大的模态给低权重，信号稳定的模态给高权重。
$w_m \in [0, 1]$
加权求和把三个模态的得分乘上权重再加起来，得到最终融合结果。
$\hat{y}_{\text{final}} = w_1 s_1 + w_2 s_2 + w_3 s_3$

DEAP对比

如果说 SEMAINE 是“聊天访谈综艺”，DEAP 就是“音乐情绪挑战赛”。研究人员换了一套更能稳定诱发情绪的玩法：让 32 名被试观看 40 段一分钟的音乐视频，每段视频都经过精心挑选，有的让人兴奋，有的催人平静。被试一边看 MV，一边戴着脑电帽和生理传感器，从头到脚记录 32 通道脑电（EEG）与外周生理信号。

DEAP 的诱绪思路更“标准化”：音乐视频是统一的刺激材料，所有被试看同样的 40 段内容，情绪诱发的前后时间点非常明确，非常适合做受控实验。看完每段视频后，被试还要给自己刚才的情绪打分，评估愉悦度、唤醒度、支配度和喜好程度四个维度。

这里就带出一个关键问题：脑电这类生理信号和人的主观感受到底有没有关系？研究者通常用相关性分析来检验。

用 DEAP 时你会发现，脑电信号确实和主观愉悦度存在显著相关，但单通道的相关系数通常不高。这说明单一生理信号不够，仍需要多模态互补——就像一档综艺不能只靠一个镜头讲完故事。

\displaystyle r = \frac{\sum_{i=1}^{n}(x_i-\bar{x})(y_i-\bar{y})}{\sqrt{\sum_{i=1}^{n}(x_i-\bar{x})^2}\sqrt{\sum_{i=1}^{n}(y_i-\bar{y})^2}}

这是皮尔逊相关系数：若生理指标与主观情绪评分显著相关，就证明“生理信号确实携带了情感信息”。

两个变量 $x_i$ 与 $y_i$$x_i$ 是某位被试的生理指标（如脑电功率），$y_i$ 是他报告的情绪评分。
$x_i, \; y_i$
离均差 $x_i-\bar{x}$每个生理值减去所有被试的平均值，表示这份数据偏离平均水平多少。
$x_i - \bar{x}$
分子协同偏离：把两路信号的偏离相乘并累加。两者同步偏高或同步偏低时，乘积为正，说明有正相关。
$\sum_{i=1}^{n}(x_i-\bar{x})(y_i-\bar{y})$
分母各自的波动幅度：分别计算两路信号的标准差再相乘，起归一化作用，把结果限制在 $-1$ 到 $1$ 之间。
$\sqrt{\sum_{i=1}^{n}(x_i-\bar{x})^2} \cdot \sqrt{\sum_{i=1}^{n}(y_i-\bar{y})^2}$
相关系数 $r$$r$ 接近 1 表示强正相关，接近 0 表示无关，负值表示反向变化。
$r \in [-1, 1]$

标注体系

一台摄像机拍下的只是画面，要让 AI 看懂情感，还得有人告诉它“此刻有多开心”。SEMAINE 和 DEAP 的标注体系，本质上是一套“评委打分规范”。真人秀的评委不能用“还行”“有点难过”这种模糊话术，必须使用统一的量表。情感计算通用的做法是用效价（Valence）与唤醒度（Arousal）两个维度描绘情绪：效价是从非常消极到非常积极的正负刻度，唤醒度是从非常平静到非常激动的强度刻度。

SEMAINE 更进一步，请标注员用专门工具一边回放视频，一边连续移动鼠标，在二维情感平面上画出被试情绪随时间的轨迹。也就是说，每一秒都有一组效价和唤醒度数值，形成连续的曲线标注。DEAP 则采用离散打分，每段视频结束后让被试给 1-9 分的整数分。两种方式各有好处：连续标注信息量大，支持逐帧监督；离散标注噪音小，简单可靠。

多位评委打分时，他们的意见总会有分歧。为了度量评委之间是否“心齐”，科研人员常用 Cohen's kappa 一致性系数。

标注团队就像真人秀的评审团，把主观感受转变成可以量化的分数。正因有了这套打分规范，AI 才获得明确的学习目标。所谓“金标准”，就是多数评委打分的汇总结果——它未必绝对正确，却是当前条件下最可靠的“参考答案”。

\displaystyle \kappa = \frac{p_o - p_e}{1 - p_e}

kappa 剔除了“瞎猜也可能一致”的成分，衡量标注的一致程度是否明显高于随机水平。

观察一致率 $p_o$两位评委对同一片段打出相同标签的比例，相当于评委当场对答案的命中率。
$p_o$
随机一致率 $p_e$两位评委各自按习惯乱猜时，也能碰巧一致的期望比例。
$p_e$
修正分子用实际观察一致率减去随机一致率，得到“真正由共识带来的一致”。
$p_o - p_e$
归一化分母除以 $1-p_e$，把结果缩放到最大为 1，消除随机基线的影响。
$1 - p_e$
一致性 $\kappa$一般 $\kappa>0.6$ 可认为标注可接受，大于 0.8 则共识很强。
$\kappa \in [0, 1]$

工程预处理

录制好的素材不能直接送进 AI 的脑子里，就像真人秀的原始录像带必须先经过后期剪辑：去噪、稳像、配字幕、对齐时间线。多模态数据的预处理，就是这个“剪辑”环节。SEMAINE 的语音中有空调嗡鸣和椅子摩擦声，DEAP 的脑电里有眨眼和肌肉运动伪迹，第一步都要做去噪与滤波：用带通滤波器保留有效频段，剔除直流漂移和高频干扰。

紧接着要做帧级特征提取。语音被切成 20-40 毫秒的小帧，逐帧提取梅尔频率倒谱系数（MFCC）等声学特征；表情画面被变换成面部动作单元（AU）强度；脑电则按频段分解为 Delta、Theta、Alpha 等功率特征。各路特征产生于不同的设备与采样率，还必须通过时间戳对齐到同一时间轴——这是多模态工程里最容易被忽视的坑。

特征各自量纲差异很大：语音能量可能是 0.0001 级，脑电功率可能是几十级。若不统一尺度，量纲大的特征会主导模型。工程上常用 z-score 归一化。

预处理做完后，还可视情况用 PCA 等降维手段压缩冗余特征，相当于把剪辑好的素材再压缩成更小的成片，方便模型高效学习。剪辑师的工作台越干净，AI 评审团看得越清楚。

\displaystyle x' = \frac{x - \mu}{\sigma}

把每个特征减去全体均值、再除以标准差，使所有特征的中心为 0、波动幅度为 1，变成同一种“计量单位”。

原始特征 $x$某个模态在某个时刻的原始值，比如一帧语音的平均能量。
$x$
均值 $\mu$这个特征在全部训练数据上的平均值，代表普通水平。
$\mu = \frac{1}{T}\sum_{t=1}^{T} x_t$
标准差 $\sigma$特征在平均值附近的波动幅度，波动越大，$\sigma$ 越大。
$\sigma = \sqrt{\frac{1}{T}\sum_{t=1}^{T}(x_t-\mu)^2}$
归一化后的 $x'$原始值减去均值再除以标准差，结果以 0 为中心、以 1 为单位，量纲彻底消除。
$x' = \frac{x - \mu}{\sigma}$

评估调优

真人秀播完后，导演要看收视数据：观众喜欢哪一段、哪一部分拖沓。AI 工程师也要评估模型表现。若任务是三分类（积极/中性/消极），光看准确率远远不够——假设 80% 的样本都是中性，模型全猜中性就有 80% 准确率，却完全没学会识别情绪。工程上常用 F1 分数来均衡考量精确率与召回率。

SEMAINE 的连续轨迹标注还能让模型输出逐帧的效价值，这时要把模型预测曲线与人工标注曲线逐点比对。情感计算领域的标准指标是一致性相关系数（Concordance Correlation Coefficient，CCC），它既看两条曲线是否同步起伏，也看均值是否偏移。

评估之后是调优策略的对比：早期融合（特征拼接） vs 后期融合（决策加权）。调优还必须注意验证集划分方式——同一被试的多段情绪不能同时出现在训练集和测试集，否则模型可能靠“认人”而非“认情绪”拿高分。相当于让评委提前看了选手的彩排，正式评分自然虚高。

\displaystyle F1 = 2 \times \frac{\text{precision} \times \text{recall}}{\text{precision} + \text{recall}}

模型曲线与人工曲线越一致，CCC 越接近 1；它综合惩罚“形状不像”和“高度偏移”两类错误，是连续情感评估的首选指标。

相关度 $\rho$两条曲线的皮尔逊相关系数，衡量变化趋势是否同起同落。
$\rho = r(x, y)$
两路波动幅度$\sigma_x$ 是人工标注的标准差，$\sigma_y$ 是模型输出的标准差，波动不匹配会降低得分。
$\sigma_x, \; \sigma_y$
均值偏差$\mu_x-\mu_y$ 表示模型整体偏高或偏低了多少，偏得越多，惩罚越大。
$(\mu_x-\mu_y)^2$
一致性比例分子是两倍协方差相关项，分母包含各自方差与均值偏差平方，比值即 CCC，最大为 1。
$\rho_c = \frac{2\rho\sigma_x\sigma_y}{\sigma_x^2+\sigma_y^2+(\mu_x-\mu_y)^2}$

AI 应用场景

场景一：实时情感陪伴机器人

阶段：模型训练与部署

解决的问题：传统聊天机器人只能理解文字语义，读不出用户语音里的疲惫和沮丧。用 SEMAINE 的多模态交互数据训练模型后，机器人可以同时处理麦克风语音与摄像头画面，识别用户语气中的颤抖和表情中的低落，从而主动切换安慰式话术。

具体案例：某养老院部署的陪聊机器人，在监测到老人语音中频繁出现长停顿、叹息，且面部表情长时间低效价时，自动从“闲聊模式”切换到“关怀模式”，询问老人是否需要休息或联系家人。

场景二：驾驶员疲劳与情绪监测

阶段：特征提取与实时推断

解决的问题：疲劳驾驶的早期信号往往体现在面部表情和生理节律上。DEAP 中 EEG 与生理信号联动情感的分析方法可迁移到车载场景，将方向盘处的接触电极与车内摄像头结合，实时监测驾驶员的唤醒度趋势。

具体案例：某车厂安全系统在连续 20 分钟监测到驾驶员的脑电节奏变慢、眨眼频率下降后，通过语音提示和座椅震动提醒驾驶员停车休息，并根据表情中的急躁迹象降低空调风量以缓和情绪。

场景三：线上课堂专注度分析

阶段：数据标注与模型评估

解决的问题：在线教育中，教师看不到学生的实时反应。借鉴 SEMAINE 的连续效价/唤醒度标注方案，可构建课堂参与度监测系统，将学生视频中的人脸表情、动作姿态与麦克风环境音融合，连续输出参与度曲线。

具体案例：某在线教育平台在试点班级部署该系统，当全班平均唤醒度连续 3 分钟低于阈值时，系统自动向教师端推送“建议发起互动”的提醒，有效提升了录播课的完课率。

Python 演示

python50 行

# -*- coding: utf-8 -*-"""模拟多模态情感数据集的特征融合与评估流程"""import numpy as np  def make_fake_features(n, seed=42):    """生成模拟样本：语音、表情、生理三路特征，以及由语音+表情决定的标签"""    rng = np.random.default_rng(seed)    audio = rng.normal(0.0, 1.0, (n, 8))    # 模拟语音 MFCC 特征    video = rng.normal(0.0, 1.0, (n, 6))    # 模拟表情 AU 特征    bio = rng.normal(0.0, 1.0, (n, 4))      # 模拟生理信号特征    label = ((audio.mean(axis=1) > 0.0) & (video.mean(axis=1) > 0.0)).astype(int)    return audio, video, bio, label  def preprocess(audio, video, bio):    """早期融合：特征拼接 + z-score 归一化"""    X = np.hstack([audio, video, bio])    mu = X.mean(axis=0)    sigma = X.std(axis=0) + 1e-8    return (X - mu) / sigma  def evaluate(pred, y_true):    """返回简单的准确率"""    return float((pred == y_true).mean())  def main():    n = 200    audio, video, bio, label = make_fake_features(n)    X = preprocess(audio, video, bio)    cut = int(n * 0.8)    X_tr, X_te = X[:cut], X[cut:]    y_tr, y_te = label[:cut], label[cut:]     # 加权线性得分：语音权重 1.0，表情权重 1.0，生理权重 0.2    w = np.zeros(X.shape[1])    w[:8] = 1.0    w[8:14] = 1.0    w[14:] = 0.2     pred_tr = (X_tr.dot(w) > 0.0).astype(int)    pred_te = (X_te.dot(w) > 0.0).astype(int)    print("train acc = %.3f" % evaluate(pred_tr, y_tr))    print("test acc  = %.3f" % evaluate(pred_te, y_te))  if __name__ == "__main__":    main()

目的：这个演示把 SEMAINE 的核心工程流程浓缩成一个可运行的最小闭环——用模拟的三路特征做特征拼接（早期融合）、z-score 归一化、切分训练/测试集，再按模态权重线性打分完成情感分类。

audio = rng.normal(0.0, 1.0, (n, 8))模拟 8 维语音特征，相当于把每一段语音压缩成一串数字。
label = ((audio.mean(axis=1) > 0.0) & (video.mean(axis=1) > 0.0)).astype(int)模拟标签生成规则：语音和表情同时“正向”才判定为积极情绪。
X = np.hstack([audio, video, bio])把三路特征拼成一个大矩阵，这就是早期融合（特征级融合）。
mu = X.mean(axis=0)` 与 `sigma = X.std(axis=0)计算每个特征的均值与标准差，归一化后消除量纲差异。
cut = int(n * 0.8)按顺序切出前 80% 做训练、后 20% 做测试。真实项目中建议按被试划分而不是按顺序切分，否则身份信息会泄漏。
w[:8] = 1.0` 与 `w[14:] = 0.2为不同模态设置不同权重，生理信号这里权重设低，模拟它噪声相对较大的场景。
(X.dot(w) > 0.0).astype(int)用加权线性得分大于 0 来预测积极情绪，做法虽简单，但展示了决策函数的基本形态。

常见误区

误区我以为是像拼乐高一样，把音频、视频、文本的文件路径放在一个列表里，丢进模型就能自动学习多模态。

正解真实工程中，不同模态的采样率、时间起点、量纲完全不同。直接拼接等于把“用手机拍的视频”和“用独立录音笔收的音频”强行粘在一起，时间轴对不上，内容就会错位。必须先完成时间对齐、分帧和归一化，才能进入融合环节。

为何常见：初学者看到“多模态”三个字，容易只想到“多种数据”，而忽略了它们必须在统一的时间轴与特征空间中才能协同工作。

误区这数据集是多年前做的，设备旧、画质差，我拿手机自己录一批人脸视频效果肯定更好。

正解数据集的真正价值在于“标准化协议 + 专业标注”。SEMAINE 的对话场景经过精心设计能诱发真实自然情绪，并且有逐帧连续标注；自己录制时若没有这套流程，得到的大多是表情僵硬、噪声杂乱、标签粗糙的素材，模型根本学不到稳定特征。

为何常见：人们容易用“新旧”衡量数据价值，忽略了数据质量的核心是采集规范与标注可信度。

误区反正都是情感数据，把 SEMAINE 的对话和 DEAP 的脑电拼在一起训练一个大模型，数据量翻倍效果一定更好。

正解两者的诱绪方式完全不同：SEMAINE 靠实时对话诱发自然交互情绪，DEAP 靠被动观看音乐视频诱发受控情绪。标注重心也不同：SEMAINE 是连续效价/唤醒度轨迹，DEAP 是离散 1-9 分。即使要混合，也必须统一标签空间、重采样、重新对齐，并做好领域适配实验，否则模型只会学到两套互不兼容的分布。

为何常见：数据集名称里都带“情感”二字，让初学者误以为它们是同质的，忽略了实验范式和标注协议的深层差异。

误区两位评委对同一段情绪的标注只有 0.5 的 kappa，这个数据集肯定有问题，不能用。

正解情感本身是高度主观的，同一段视频有人觉得感动、有人觉得压抑，这是真实世界的常态。kappa 在 0.4-0.6 之间对情感标注来说并不罕见。关键是记录分歧、分析分歧来源，并通过增补标注员投票来削弱个体偏差，而不是直接否定数据集。

为何常见：受分类任务“标准答案唯一”思维影响，人们容易忽略情感标注天生具有主观性。

误区我把数据集打乱后随机抽了 20% 当测试集，测试准确率接近 90%，模型效果非常好！

正解如果同一个人的多段对话同时出现在训练集和测试集，模型很可能记住了“这个人的长相和嗓音”，而不是真正学会了情绪识别。正确做法是按被试（participant）划分数据，确保测试集里的人从未出现在训练集中，测出来的成绩才是对新用户的真实泛化能力。

为何常见：随机切分在独立同分布数据上没问题，但人的个体差异极大，跨身份泛化恰恰是情感模型的终极挑战，忽视身份泄露就会得到虚高的假指标。

面试题

Q1. SEMAINE 数据集的核心定位是什么？

单选题 · easy

A.语音识别朗读语料库
B.多模态情感对话数据集← 正确答案
C.图像分类的视觉数据集
D.机器翻译平行语料库

答案：B。SEMAINE 记录真人被试与虚拟主持人之间的实时对话，同步采集语音、表情等多路信号，并带有情感标注，是多模态情感对话数据集的典型代表。其余选项分别对应语音识别、图像分类和机器翻译领域，与 SEMAINE 的定位不符。

Q2. SEMAINE 中 SAL（Sensitive Artificial Listener）机制的核心作用是什么？

单选题 · mid

A.用固定脚本引导中性对话
B.用不同人格虚拟角色引发自然情绪← 正确答案
C.用物理传感器直接测量情感
D.用文本聊天完成自动标注

答案：B。SAL 的核心是让真人被试与性格迥异的虚拟主持人互动，通过实时对话“诱发”自然流露的情绪反应。它不是脚本化朗读（A），也不依赖传感器直接测量（C）或文本自动标注（D）。这种设计让 SEMAINE 数据充满动态、真实的交互情绪。

Q3. DEAP 数据集中，被试观看的刺激材料是什么？

单选题 · easy

A.40段音乐视频← 正确答案
B.20段无声电影
C.60幅静态图片
D.30条语音对话

答案：A。DEAP 的核心诱绪材料是 40 段精心挑选的一分钟音乐视频，在被试观看时同步记录脑电与生理信号。无声电影、静态图片和语音对话都不是该数据集的刺激材料。

Q4. DEAP 数据集记录的脑电信号来自多少个通道？

单选题 · mid

A.8通道
B.32通道← 正确答案
C.64通道
D.128通道

答案：B。DEAP 使用标准的 32 通道脑电采集设备，同时还有 8 路外周生理信号。8 通道、64 通道和 128 通道分别是其他 EEG 设备的常见配置，不属于 DEAP 的标准配置。

Q5. 情感二维模型中，Valence（效价）描述的是情绪的什么属性？

单选题 · mid

A.生理唤醒的程度
B.情绪积极或消极的正负性← 正确答案
C.情感表达的外向程度
D.认知任务的困难程度

答案：B。Valence 指情绪的正负效价，一端是非常消极、另一端是非常积极；Arousal 才是唤醒度高低的维度。A 描述的是唤醒度，C 与 D 则属于人格或认知心理学概念，不在 VA 二维模型的定义内。

Q6. 以下哪个不是 SEMAINE 与 DEAP 的区别点？

单选题 · easy

A.数据获取方式：对话诱发还是视听诱发
B.信号模态：语音视频还是脑电生理
C.采集环境：实验室还是家庭现场← 正确答案
D.标注模式：连续轨迹还是分段评分

答案：C。SEMAINE 和 DEAP 都在实验室受控环境中采集，C 不是两者的区别。两者在诱发方式（对话 vs 音乐视频）、核心模态（音视频 vs 脑电生理）、标注方式（连续轨迹 vs 离散评分）上确有明显差异。

Q7. 多模态“早期融合”（Early Fusion）指的是哪种操作？

单选题 · mid

A.各模态模型打分后再加权汇总
B.在特征层面把多模态数据拼接后训练← 正确答案
C.在决策层对预测结果投票排序
D.只保留一个模态再用迁移学习

答案：B。早期融合在特征层面完成，例如把音频 MFCC、表情 AU 和生理特征拼接成一个大向量再送入模型，属于“先融合后学习”；各模态先独立建模再汇总打分的做法属于后期融合，对应 A 与 C。

Q8. 关于情感数据集的标注一致性，下列说法正确的有？

多选题 · hard

A.可用Cohen's kappa系数量化← 正确答案
B.一致性低就说明数据一定无效
C.多评委取均值可降低主观偏差← 正确答案
D.一致性高代表标签必定正确

答案：AC。Cohen's kappa 正是衡量标注一致性的常用指标，A 对。多位评委打分取平均能抑制个体主观偏差，C 对。情感本身主观性强，一致性低不一定代表数据无效（B 错）；一致性高也不等同于标签绝对正确，还可能存在系统性偏置（D 错）。

Q9. 使用 SEMAINE 训练实时情感识别模型时，预处理阶段需要完成哪些工作？

多选题 · hard

A.把音视频信号按时间轴对齐← 正确答案
B.对语音和生理信号做去噪滤波← 正确答案
C.把所有样本直接拼接不处理
D.对特征做归一化消除量纲差异← 正确答案

答案：ABD。多模态信号来自不同设备，必须先做时间戳对齐（A）；语音和生理信号包含噪声，需要滤波去噪（B）；特征量纲差异大，归一化必不可少（D）。直接把原始样本拼接（C）会让模型被量纲大的特征主导，属于工程常见错误。

Q10. 关于多模态情感模型的评估，正确的做法有哪些？

多选题 · extreme

A.用CC指标评估连续情绪轨迹拟合质量← 正确答案
B.交叉验证时按被试划分防止身份泄露← 正确答案
C.只凭单一模态的表现判断融合策略优劣
D.用混淆矩阵对角线数值完全代替F1指标

答案：AB。CCC（一致性相关系数）是连续情感轨迹评估的标准指标，A 对；同一被试的多段数据不能同时出现在训练与测试集，按被试分组做交叉验证可防止模型靠“认人”得分，B 对。评估融合策略必须与单模态基线比较而不能只看单一模态（C 错）；混淆矩阵对角线只反映正确数，类别不平衡时需结合 F1、召回率等指标（D 错）。