想象你是一位有声剧导演。助理递来一行台词:“你走吧。”只有六个字,但你知道整场戏的成败全看你怎么“调教”这一句。让饰演者厉声呵斥,观众感到决裂的痛;让他哽咽低语,观众跟着落泪;让他平静得像念公文,观众瞬间出戏。 剧本是死的,人是活的。导演手里攥着“演技三要素”:情感(愤怒/伤心/平静)、语速(急促/舒缓)、音高(高亢/低沉)。现代语音合成(TTS)的风格控制,要做的就是把这位导演的功力装进一套算法:你输入文本,再指定“带点怒气、语速偏快、音调略高”,系统就自动生成一段符合要求的语音。像 Bark、VALL-E 这类新模型更聪明——你给它一句带情绪的参考录音,它就能把这种腔调“借”过来安在新文本上,好比让新人演员模仿影帝的一段情绪示范。这篇文章,我们就来拆解这位“AI 导演”如何读剧本、定情绪、控节奏、调音高,也聊聊它如何走进有声书和虚拟助手的生产一线。

岗位关联

对话式语音产品正在爆发,掌握 TTS 风格控制是音频 AI 工程师的核心竞争力。它直接决定产品“听起来像不像人、有没有灵魂”,是衡量语音体验的关键分水岭。

目录
  1. 可视化演示
  2. 基础概念:导演的剧本与演员
  3. 情感合成:给声带加戏
  4. 语速控制:快慢的数学
  5. 音高调控:起伏见情绪
  6. 模型与工具:两位名角
  7. 评估与应用:彩排与舞台
  8. AI 应用场景
  9. Python 演示
  10. 常见误区
  11. 面试题

可视化演示

动态演示TTS风格控制的核心机制,通过基础/核心/应用/扩展四种模式展示关键概念与交互流程。

本节配有交互动效(进入视口后自动加载,约 3KB)。

TTS风格控制:TTS风 TTS风格控制概述与可控维度 情感合成与情绪建模方法 核心机制可视化 TTS风格控制整体架构与关键组件

基础概念:导演的剧本与演员

拿到剧本,有声剧导演第一件事是认识自己的班子。眼前这份“你走吧”的台词,在 TTS 系统里就是输入文本。班子里的“语言委员”(文本前端)先把句子切分成音素、词和标点;真正的“戏骨”(声学模型)负责把文字演成声音;最后还有一位“音响师”(神经声码器)把中间特征还原成能直接播放的波形。而导演真正要拧的三个“演技旋钮”,就是情感、语速、音高。

在深度学习 TTS 中,风格控制不是一个独立模块,而是作为一种“附加指令”注入生成过程。模型按序列逐个产出语音特征,每一步都参考之前已生成的内容,再加上文本与风格条件。整套逻辑可以用链式概率表示:

理解了这个条件生成框架,后面的情感、语速、音高,本质上都是在设计不同的 $s$。“剧本能背,戏路要对”——导演的三大旋钮,马上逐一展开。

P(y∣x,s)=∏i=1TP(yi∣y<i, x, s)\displaystyle P(y \mid x, s) = \prod_{i=1}^{T} P(y_i \mid y_{<i},\, x,\, s)
这个公式的意思是:整段语音“成立”的概率,等于每一步都走对的概率连乘起来。风格 s 就像导演站位旁边的那句叮嘱,每一步都被它约束。
  1. 生成单元$y_i$——第 $i$ 步生成的语音特征,比如一小段音频令牌或声学帧,是整个“表演”的最小单位。
    yiy_i
  2. 历史依赖$y_{<i}$——已经生成的前 $i-1$ 个单元。语音是一句话接一句话“接龙”出来的,不能跳着写。
    y<i=y1,y2,…,yi−1y_{<i} = y_1, y_2, \dots, y_{i-1}
  3. 输入文本$x$——剧本本身,由分词器编码成的 token 序列,提供“说什么”。
    x=token1,token2,…,tokenmx = \mathrm{token}_1, \mathrm{token}_2, \dots, \mathrm{token}_m
  4. 风格条件$s$——导演的演技指令,以向量形式与文本一起送入模型,提供“怎么说”。
    s∈Rdss \in \mathbb{R}^{d_s}
  5. 连乘概率$\displaystyle \prod_{i=1}^{T}$——每一步都由前一步托底,所有步骤都对,整句才对,体现自回归生成的核心思想。
    ∏i=1TP(yi∣y<i,x,s)\prod_{i=1}^{T} P(y_i \mid y_{<i}, x, s)

情感合成:给声带加戏

导演给演员讲戏:“这场戏你要愤怒!”同一句台词,语气一变,味道全变。在 TTS 里,情感不是靠演员的天赋,而是靠一个显式的“情感向量”告诉模型此刻该用什么腔调。最朴素也最有效的做法,是把文本语义与情感向量叠加在一起,再送入后续网络:

除了标签式的“显式情感”,现代模型更常用“参考音频条件”:直接给你一段带情绪的录音,模型先把它编码成一个 prompt 序列,再让新句子跟着这个腔调走。这就是 VALL-E 的拿手好戏——零样本情感迁移。更进一步,情感强度也做成连续值:$e = e_{\mathrm{neutral}} + \alpha \cdot \Delta e$,$\alpha$ 越大,情绪越“放得开”。这套机制天然支持跨语言迁移:中文愤怒样本训出的情感向量,可以叠加到英文文本上,让老外也说出一口“带火气”的英语。导演的“说戏”功力,就这样被编码成了数学上的向量加法。

hout=Wt⋅htext+We⋅e\displaystyle h_{\mathrm{out}} = W_{t} \cdot h_{\mathrm{text}} + W_{e} \cdot e
你可以把它想象成导演凑到演员耳边说悄悄话:前半句是台词内容(文本语义),后半句是情绪指示(情感向量),两者合在一起才构成完整的表演指令。
  1. 文本语义向量$h_{\mathrm{text}}$——文本编码后携带的语义信息,回答“这句话是什么意思”。
    htext∈Rdhh_{\mathrm{text}} \in \mathbb{R}^{d_h}
  2. 情感向量$e$——从情感标签(开心/难过)或参考音频中提取的向量,回答“用什么情绪说”。
    e∈Rdee \in \mathbb{R}^{d_e}
  3. 可学习权重$W_{t}$ 与 $W_{e}$——两个可训练矩阵,决定剧本和情绪各占多少分量,模型在训练中自动学会配比。
    Wt∈Rdh×dh,We∈Rdh×deW_{t} \in \mathbb{R}^{d_h \times d_h}, \quad W_{e} \in \mathbb{R}^{d_h \times d_e}
  4. 融合相加$+$——两路信息在特征空间叠加,相当于“内容”与“情绪”两条线索汇入同一个声道。
    hout=Wthtext+Weeh_{\mathrm{out}} = W_{t} h_{\mathrm{text}} + W_{e} e

语速控制:快慢的数学

导演喊:“这段对白要急促,像连珠炮!”语速是听感中最直接的节奏维度。在语音学里,语速的定义非常朴素:单位时间内说出了多少个音素。公式如下:

具体实现上,端到端模型通常内置一个“时长预测器”:对每个文本 token 预测一个期望时长。训练时把预测时长强行拉齐到真实语音的对齐结果上;推理时只要把时长集体乘一个系数,就能实现“语速×1.5”或“语速×0.7”。韵律标记(如停顿、边界)也会参与计算——句号后的停顿拉长,句内词紧凑,这样快慢才自然,而不是均匀地“赶时间”。导演手中的“节奏节拍器”,本质就是一张每个音素停多久的时间表。

rate=NphonemeTduration\displaystyle \mathrm{rate} = \frac{N_{\mathrm{phoneme}}}{T_{\mathrm{duration}}}
音素是语音的最小单位,相当于台词里的“字”。分子是字数,分母是总时长,两者一比就是说话快慢。想让语速变快,要么音素变多(台词加字),要么时长变短(说话提速)。
  1. 音素数$N_{\mathrm{phoneme}}$——这句话拆出的音素总个数,比如“你走吧”对应 n-ǐ z-ǒu b-a 一串音素。
    NphonemeN_{\mathrm{phoneme}}
  2. 总时长$T_{\mathrm{duration}}$——从开口到收声的总秒数,是语速控制里可以直接“拧”的旋钮。
    TdurationT_{\mathrm{duration}}
  3. 比值$\mathrm{rate}$——音素数除以时长,得到每秒说多少个音素,单位类似于“字/秒”。
    rate=NphonemeTduration\mathrm{rate} = \frac{N_{\mathrm{phoneme}}}{T_{\mathrm{duration}}}
  4. 变速不变调控制时长时不能简单对音频做时间拉伸,否则音高会走样,像磁带被快进。正确做法是让模型内部的“时长预测器”对每个音素重新分配停留时间,再通过注意力对齐矩阵重新摆放每一帧。
    Tphoneme=TtargetNphonemeT_{\mathrm{phoneme}} = \frac{T_{\mathrm{target}}}{N_{\mathrm{phoneme}}}

音高调控:起伏见情绪

导演示范:“这一声'啊',要高亢,是惊喜;要低哑,是失落。”音高在人耳里是“调子高低”,物理上对应声带振动的频率——基频 F0。TTS 模型并不直接生成音频波形,而是先预测一条随时间变化的 F0 曲线,告诉“音响师”每个瞬间该多高。这条曲线常用对数域建模:

重音强调靠的是局部抬高 F0 峰,比如“我要这个”里的“要”字;边界调素则决定句号是降调、问号是升调。情感对音高的影响也很大:兴奋时 F0 曲线整体抬高、波动加剧;沮丧时曲线平缓、趴在地板上。很多 TTS 的情感控制,本质就是先对 F0 曲线做“情绪化改造”,再让声码器照着这条曲线发声。导演的“高低眉”示范,最终化为一条有灵性的数学曲线。

log⁡F0(t)=b+∑j=1Kajhj(t)\displaystyle \log F0(t) = b + \sum_{j=1}^{K} a_{j} h_{j}(t)
人耳对音高的感知是对数的:每升高一个八度,频率翻一倍,但听感是“均匀”的。所以模型在 log 域里画曲线,就像导演在钢琴上按“均匀的刻度”定调,而不是按频率数字跳变。
  1. 基频$F0(t)$——$t$ 时刻声带振动的频率,单位赫兹(Hz),决定此刻音高。
    F0(t)    [Hz]F0(t) \;\;[\mathrm{Hz}]
  2. 对数刻度$\log F0(t)$——把频率取对数,贴合人耳“八度感知”,也让模型更容易线性外推高低音。
    log⁡F0(t)\log F0(t)
  3. 基线音高$b$——整句话的平均音高水平,对应这个人的“基本声线”高低,男女声差异就在这里。
    b=1T∫0Tlog⁡F0(t) dtb = \frac{1}{T} \int_{0}^{T} \log F0(t)\, dt
  4. 起伏叠加$\sum_{j=1}^{K} a_{j} h_{j}(t)$——一组基函数(样条、正弦等)加权求和,刻画语调的“波浪线”,重音落在峰上,疑问句结尾上扬。
    ∑j=1Kajhj(t)\sum_{j=1}^{K} a_{j} h_{j}(t)

模型与工具:两位名角

剧组选角时,Bark 是个“全能型演员”——一个网络包办文本到音频的端到端生成,不需要外部声码器,甚至能在同一句里插入“[笑]”、“[激动]”这样的文字提示,让模型自行发挥。VALL-E 则是“模仿型演员”——你给它一段参考录音,它就把声线、情绪、语速全部“拷贝”进生成过程,这让“零样本”说话人克隆成为可能。VALL-E 的生成式条件描述为:

开源工具链上,Hugging Face 的 transformers 已内置 Bark 的加载与推理接口,社区里还有针对低延迟部署的优化实现。参数调优的实践要点包括:延长参考音频长度能提升风格稳定度;调节温度参数控制生成随机性;对情感强度做插值可生成“介于平静与激动之间”的细腻状态。导演选角,看的是戏路匹配度——Bark 适合天马行空的创意配音,VALL-E 适合克隆指定音色的生产任务。

P(Y∣X,A)=∏i=1TP(yi∣y<i, X, A)\displaystyle P(Y \mid X, A) = \prod_{i=1}^{T} P(y_i \mid y_{<i},\, X,\, A)
A 是参考音频被编码后的令牌序列。可以理解为:新人演员第一次演哭戏,导演不教理论,直接放一段影帝的哭戏录音,让他“照着这个演”。VALL-E 就是这样“照着演”的。
  1. 文本令牌$X$——输入文本编码后的 token 序列,是“要说的台词”。
    X=x1,x2,…,xmX = x_1, x_2, \dots, x_m
  2. 参考音频令牌$A$——参考录音经过神经编解码器后的离散 token 序列,携带说话人的音色、情绪和节奏。
    A=a1,a2,…,anA = a_1, a_2, \dots, a_n
  3. 自回归条件生成$P(y_i \mid y_{<i}, X, A)$——生成第 $i$ 步音频令牌时,同时看着前面已经生成的令牌、文本台词和参考音频,三者缺一不可。
    P(yi∣y<i,X,A)P(y_i \mid y_{<i}, X, A)
  4. 零样本迁移由于 $A$ 是“现场示范”,模型无需对新说话人做任何微调,就能在推理时模仿出参考音频的风格——这就是“零样本”的含义。
    P(Y∣X,A)=∏i=1TP(yi∣y<i,X,A)P(Y \mid X, A) = \prod_{i=1}^{T} P(y_i \mid y_{<i}, X, A)

评估与应用:彩排与舞台

戏排好了,怎么知道演得行不行?导演要听三个问题:“像不像真人?情绪准不准?节奏对不对?”TTS 评估的核心指标是 MOS(Mean Opinion Score,平均意见分),让一批听者对合成语音的自然度打分:

但 MOS 只测自然度,测不出“这句话够不够愤怒”。因此情感合成还要专门做“情感辨识度”测试:让听者判断这段语音属于哪种情绪,或用情绪分类模型自动打分。工程落地上,最成熟的两大舞台:一是有声书生产,同一本小说里旁白用中性平稳语速,反派角色用低沉音高加冷峻情感,主角激动时语速加快、F0 上扬;二是虚拟助手,在用户焦急的语境下,助手以稍快语速加温和关切的情感回应,体验立即拉开差距。导演的彩排标准,最终要落到业务指标——听众不点关闭,用户愿意多说一句。

MOS=1N∑i=1Nscorei\displaystyle \mathrm{MOS} = \frac{1}{N} \sum_{i=1}^{N} \mathrm{score}_i
相当于请 N 位“观众评委”每人打一个分,取平均。分数区间 1 到 5,4.5 以上通常被认为接近真人水平。
  1. 单一评分$\mathrm{score}_i$——第 $i$ 位听众给出的分数,1 分无法忍受,5 分与真人无异。
    scorei∈{1,2,3,4,5}\mathrm{score}_i \in \{1, 2, 3, 4, 5\}
  2. 评委数量$N$——参与听感测试的人数,一般不少于 20 人,样本越大越可信。
    NN
  3. 取均值$\frac{1}{N} \sum_{i=1}^{N}$——把所有评委的分数加起来除以人数,得到一个综合口碑分。
    MOS=1N∑i=1Nscorei\mathrm{MOS} = \frac{1}{N} \sum_{i=1}^{N} \mathrm{score}_i

AI 应用场景

有声书与播客的批量配音

阶段:音频内容生产与后期制作

解决的问题:传统有声书需要逐句人工录制,一名配音演员一天只能录几千字,且难以一人分饰多角。AI 风格控制让同一套模型按角色设定切换情感、语速与音高,旁白、主角、反派全部自动生成,生产效率提升数十倍。

具体案例:某音频平台生产一部 30 万字的小说,使用 Bark 风格控制为旁白配置 0.95 语速、中性情感,为反派角色配置 0.8 语速、低沉音高和冷峻情感,再给高潮段落整体调高 F0 波动幅度。成片通过 MOS 4.2 以上验收,听众评论“情绪感比部分人工配音还足”。

虚拟助手的情感感知应答

阶段:多模态交互中的语音生成环节

解决的问题:传统 TTS 一律用平稳语气播报,用户情绪激动时,助手依然“波澜不惊”,体验冰冷。接入情感识别后,把用户情绪标签映射为 TTS 风格参数,助手能以关切/安抚的语气回应。

具体案例:某银行电话客服系统检测到用户多次提高音量、语速加快,判定为“焦急”状态,于是 TTS 自动切到“语速×1.2、F0 中高、带温和安抚情感”的风格,先共情再说方案,用户满意度提升 12%。

游戏 NPC 与短视频角色的多语言情绪配音

阶段:内容创作与本地化

解决的问题:游戏角色动辄上万句台词,多语言版本如果逐语种找配音演员,成本极高。参考音频条件技术允许只用一段中文情绪示范,就能让英文、日文语音带上同样的情绪底色,实现“一种演法,多国语言”。

具体案例:某独立游戏制作组用 VALL-E 对主角的一段愤怒参考录音做零样本迁移,为英、日、韩三种语言生成了同情绪台词,总制作周期从 3 个月压缩到 2 周。

Python 演示

python35 行
import numpy as npimport wave def synthesize_speech(text, emotion=0.5, speed=1.0, pitch=1.0,                      sr=16000, base_f0=120.0):    """模拟风格控制的简易 TTS:情感=音色包络,语速=时长缩放,音高=基频乘子"""    parts = []    for ch in text:        # 每个字符(音素)的时长随语速倍率反比变化        ph_dur = max(int(sr * 0.16 / speed), sr // 100)        t = np.arange(ph_dur) / sr        # 音高: 基频乘 pitch;情感: 用低频正弦包络制造"起伏感"        f0 = base_f0 * pitch        envelope = 0.35 + 0.65 * emotion + 0.3 * emotion * np.sin(2 * np.pi * 2.5 * t)        phoneme_wave = 0.6 * np.sin(2 * np.pi * f0 * t) * envelope        parts.append(phoneme_wave)    audio = np.concatenate(parts) if parts else np.zeros(1)    audio = audio / (np.max(np.abs(audio)) + 1e-8) * 0.8    return (audio * 32767).astype(np.int16) def save_wav(filename, samples, sr=16000):    with wave.open(filename, 'wb') as wf:        wf.setnchannels(1)        wf.setsampwidth(2)        wf.setframerate(sr)        wf.writeframes(samples.tobytes()) if __name__ == '__main__':    text = '你走吧'    calm = synthesize_speech(text, emotion=0.2, speed=0.9, pitch=1.0)    angry = synthesize_speech(text, emotion=0.95, speed=1.6, pitch=1.3)    save_wav('calm.wav', calm)    save_wav('angry.wav', angry)    print('已生成 calm.wav(平静版)与 angry.wav(愤怒版):')    print('平静版: 语速慢, 音高平缓 | 愤怒版: 语速快, 音高尖, 情绪起伏大')
目的:演示风格三要素的数学本质——语速改变音素时长、音高改变基频、情感改变包络起伏,生成两份听感差异明显的语音文件。
  1. ph_dur = max(int(sr * 0.16 / speed), sr // 100)每个音素的采样点数随语速翻倍而减半,这就是语速控制的“时长分配”。
  2. f0 = base_f0 * pitch音高旋钮直接放大基频,1.3 倍就是整体调高约 4~5 个半音。
  3. envelope = 0.35 + 0.65 * emotion + 0.3 * emotion * np.sin(...)情感越强,包络振幅越大、波动越剧烈,对应 F0 曲线的情绪起伏。
  4. np.concatenate(parts)把每个音素拼接成完整句子,模拟自回归 TTS 逐帧生成的过程。
  5. audio / (np.max(np.abs(audio)) + 1e-8) * 0.8归一化防削波,等效于声码器输出前的能量控制。
  6. save_wav('calm.wav', calm)` 与 `save_wav('angry.wav', angry)导出两版“同一句台词、两种演法”,直接可听对比。

常见误区

误区“想让 TTS 说话快,直接把播放速度调成 1.5 倍不就行了?反正都是快。”初学者常把这个误区带入合成环节,结果声音像被按了快进键的磁带,音调变尖、听感滑稽。

正解专业 TTS 的语速控制是在“时长预测”层面完成的:模型重新为每个音素分配停留时间,再重建音频,基频保持不变。好比导演让演员“台词念快点”时,演员的声带并不会因此变细——只有录音机快进才会把音调和语速一起改掉。

为何常见:日常听播客用倍速播放已是习惯,大家自然把“变快”等同于“播放速率拉伸”,忽略了合成环节与播放环节的根本区别。

误区“给一段中性语音加个混响、调个 EQ,不就是带情绪了吗?”不少初学音频处理的开发者会这样想,把情感当成一种可后处理的音效。

正解真正的情感是“长”在声学特征序列里的——F0 曲线的起伏形态、音素的时长分布、能量包络的抖动节奏共同决定了情绪听感。这些必须在生成阶段由模型按情感条件规划出来,后处理滤镜只能改变音色质感,改不了“这句是哭是笑”的本质。

为何常见:短视频滤镜文化让人习惯了“效果器万能”的直觉,但语音情感涉及时间维度上的动态组织,不是一招静态处理能伪造的。

误区“声音高不就是音量大的意思吗?”

正解音高是声带振动的基频,单位是赫兹,决定“调子高低”;音量是声波振幅,单位是分贝,决定“响度大小”。一个人可以低声细气地说出高八度的“啊”,也可以歇斯底里地低吼一个低音。TTS 风格控制里两者由完全不同的参数通道支配,混为一谈会调出“又尖又炸”或“又闷又软”的错误听感。

为何常见:日常口语里“声音高”常被模糊地指代“嗓门大”,物理概念的混淆被自然语言带节奏了。

误区“VALL-E 叫零样本说话人克隆,那我随便给它一段录音,它就能无限说任何话?”一些产品宣传放大了“模仿”而忽略了“内容”。

正解VALL-E 的生成公式是 $P(Y \mid X, A)$——参考音频 A 只提供音色与风格,文本 X 才是要说的内容。模型是把文字“转述”成参考音频的腔调,而不是把录音里的原话截出来拼接。脱离文本的“纯克隆”不在它的能力范围内。

为何常见:“克隆”这个词自带魔幻感,加上“零样本”的炫技表述,容易让人脑补成无需任何输入的自动说话机器。

面试题

Q1. TTS 风格控制的核心三要素是?

单选题 · easy

  • A.情感、语速、音高← 正确答案
  • B.音量、音色、时长
  • C.节奏、共鸣、响度
  • D.声线、呼吸、停顿

答案:A。风格三要素是情感(怎么演)、语速(多快说)、音高(多高调)。音量、音色属于音质范畴,节奏与共鸣是附属表现,不是风格控制的三大基础旋钮。选 B 混淆了音质与风格,C、D 是把表演术语误当成参数维度。

Q2. 情感向量通常如何进入 TTS 模型?

单选题 · easy

  • A.以嵌入向量拼接进文本特征← 正确答案
  • B.以覆盖写方式直接修改波形
  • C.以降低采样率方式压缩音频
  • D.以正则化方式去掉所有噪声

答案:A。情感向量与文本语义向量在特征空间相加或拼接,再送入声学模型,属于条件注入。B 修改波形是后处理,C 改变的是采样率,D 是降噪手段,三者都改变不了“用什么情绪说话”的生成过程。

Q3. 下列哪些方法可以实现情感合成?

多选题 · mid

  • A.情感标签嵌入作为模型条件← 正确答案
  • B.参考音频编码序列作为提示← 正确答案
  • C.用随机种子噪声代替输入文本
  • D.用均衡器增强低频完成情感

答案:AB。情感标签嵌入是显式条件,参考音频提示是隐式条件,两者都是主流做法。C 破坏了“说什么”,D 只是音色调校,无法让模型在时间序列上组织出情绪起伏,因此错误。

Q4. “变速不变调”指的是?

单选题 · mid

  • A.语速变化时保持基频不变← 正确答案
  • B.语速变化时保持节拍不变
  • C.音高变化时保持语速不变
  • D.音量变化时保持音色不变

答案:A。变速不变调的核心是在时长预测层调整音素停留时间,而不是对波形做时间拉伸,因此基频 F0 保持原样。B 说反了因果关系,C、D 描述的是别的什么不变,均未击中“变速”场景下的音高校准问题。

Q5. 语速 rate 的数学定义是?

单选题 · mid

  • A.音素个数除以发音总时长← 正确答案
  • B.发音总时长除以音素个数
  • C.音频采样率乘以声道个数
  • D.文本字数乘以停顿次数

答案:A。$\mathrm{rate} = N_{\mathrm{phoneme}} / T_{\mathrm{duration}}$,音素越多、时长越短,语速越快。B 是“每个音素平均耗时”,是周期的概念而非语速;C 是比特率,D 没有物理意义。

Q6. 语音合成中 F0 指的是?

单选题 · easy

  • A.发声时声带振动的基频← 正确答案
  • B.录音时麦克风拾取的响度
  • C.合成时噪声滤波器的阻尼
  • D.文本音素序列的头尾对齐

答案:A。F0 是声带振动的基础频率,决定音高感知。B 是响度对应振幅,C 是滤波器参数,D 是时长对齐概念。理解 F0 是掌握音高调控的前提。

Q7. Bark 模型相比传统 TTS 的特点有哪些?

多选题 · mid

  • A.基于神经编解码离散音频令牌← 正确答案
  • B.文本中加自然语言风格描述← 正确答案
  • C.需要逐音素手工标注才能合成
  • D.必须先训练一个单独的声码器

答案:AB。Bark 把音频编码成离散 token 序列,用 Transformer 自回归生成,支持“[笑]”“[激动]”这样的文本提示。它不依赖逐音素人工标注,也不需要外置声码器,因此 C、D 错误。

Q8. VALL-E 零样本说话人克隆的核心机制是?

单选题 · hard

  • A.参考音频token序列充当提示← 正确答案
  • B.用大语料微调整个声学模型
  • C.用录音直接做波形拼接播放
  • D.用语音识别转写文本后复述

答案:A。VALL-E 将参考音频编码成 token 序列 $A$,生成时作为条件 prompt 与文本 $X$ 一起驱动自回归解码,全程无需微调。B 是适配而非零样本,C 是拼接合成,D 是 ASR+TTS 级联,都不是它的核心机制。

Q9. MOS 评分的取值与含义是?

单选题 · hard

  • A.一至五分取平均的主观评分← 正确答案
  • B.零至一百分的客观信噪比
  • C.一至五十分的情感强度指数
  • D.零至九十分的多说话人区分度

答案:A。MOS 让听者按 1~5 分对自然度打分,最后取平均。B 是 SNR 的定义,C 可能是情感强度自定指标,D 与说话人分离任务相关。MOS 是 TTS 最通用的主观自然度指标。

Q10. 下列哪些因素会影响合成语音的情感辨识度?

多选题 · extreme

  • A.基频曲线的形态与起伏幅度← 正确答案
  • B.语速的变化快慢与停顿节奏← 正确答案
  • C.情感嵌入向量表达的强度维度← 正确答案
  • D.耳机输出的额定功率与信噪比

答案:ABC。情感辨识度由 F0 曲线形态(如兴奋时上扬)、语速节奏(急促=紧张)和情感嵌入强度三者共同决定。D 是回放设备指标,影响听音物理条件,但与算法生成的语音本身的情感可辨识性无关。