旋律条件生成与哼唱续写

可视化演示

动态演示旋律条件生成与哼唱续写的核心机制，通过总览/传输/转换/输出四种模式展示关键概念与交互流程。

旋律表示方法

酒馆里，你给老周哼了一段，老周听完没有直接接吉他，而是先在餐巾纸上画了个简易谱子。他一边画一边说：“我得先把你哼的这些音'记下来'，不然脑子一乱就忘了。”老周有三种记法：给熟悉钢琴的朋友画五线谱、给不出门的朋友录一段语音、给自己写一行行数字。每种记法保存的信息不同，后来的“续写质量”也不一样。

在老周这里，“记下来”是续写的前置步骤；在 AI 这里，这个步骤叫旋律表示（melody representation）。模型不直接“听歌”，它只认数字。所以工程师要决定：把音乐变成什么形式喂给模型。主流做法有三种：符号表示把旋律抽象成“音符列表”，类似 MIDI，每个音符用（音高，时值）二元组表示；音频表示把波形切成帧、计算频谱图，保留了音色与气息；离散Token把音符或音频块映射为离散编号，像把音乐“翻译”成一段文字，方便 Transformer 这类模型处理。

用符号表示，一首旋律就是一组有序的“（音高，时值）”对：

老周的餐巾纸谱子就是符号表示，录音就是音频表示，那行数字就是离散Token——他后来弹得顺不顺、像不像你，很大程度上取决于哪种“记法”记得准。模型也一样，表示方式决定了它“看到”的是旋律的骨架，还是声音的血肉。

哼唱信号处理

你以为自己哼得很准，老周却笑：“你刚才那个'咪'，起码跑了四分之一音。”但他依然能准确弹出你真正想表达的旋律——因为他做了三件事：先竖起耳朵锁住每个音的主频（音高提取），再用脚打拍子把你的自由节奏对齐到节拍网格（节奏量化），最后把漂移的音高悄悄拨回标准键位（音高修正）。

手机录下来的哼唱是一段连续声波，而模型需要的是干净的离散音符。从“模糊声波”到“干净音符”的中间环节，就是哼唱信号处理，也叫前端提取。如果用传统乐器弹奏，这一步可以省略；但哼唱天然带有音准漂移、气息起伏和自由节奏，不处理就直接进模型，等于把歪歪扭扭的声音连谱交给老周，谁都听不清你想表达什么。

音高提取通常是先估算每一小段信号的基频 f，再换算成 MIDI 编号：

老周帮你“校准”过的旋律，才是他真正能发挥的故事开头。AI 也一样，前端处理的好坏直接决定后续编码与生成的质量——你是把一张干净的谱子递给老周，还是让他对着你含糊的哼唱猜谜。

条件编码方式

老周记完谱子，抬头问你：“想要什么感觉？”你说：“欢快点，最好带点民谣的味道。”老周怎么把这句话“装”进脑子里？他告诉我们三种做法：把纸条贴在谱子旁边随时看（条件拼接）、每弹一个音符都瞥一眼纸条确认方向（交叉注意力）、把纸条上的关键词画成谱面符号（特殊标记）。

在 AI 里，你说的“欢快、民谣”这些要求叫作条件（condition）。“使条件发挥作用”的过程就是条件编码。它决定了模型在执行续写时，能多好地“听见”用户的要求。条件拼接是最直观的做法：把条件向量 c 与每个音符的嵌入向量拼在一起，让模型每一步都能看到完整的 c——相当于老周把“欢快民谣”四个字贴在谱架上。

记第 t 个音符的嵌入为 emb(m_t)，条件的嵌入为 emb(c)，条件拼接的公式为：

如果说旋律是故事，条件就是“这一章必须有的氛围”。老周把纸条贴在谱旁的朴素做法，对应最简单的条件拼接；而成熟乐手会“察言观色”、该看要求时才看，这就是交叉注意力要解决的问题。

生成模型架构

最令你好奇的是：老周凭什么知道下一个音该怎么走？他笑着说：“我不背谱，我只是太懂旋律了。每弹一个音，我都会回想前面所有音，然后感觉'这个音后面就该接那个音'。”换句话说，老周是一个“下一个音符预测器”。

AI 续写的核心正是自回归生成模型：给定已经产生的音符序列和条件，模型预测下一个音符的概率分布，再采样一个音接上去，如此循环，直到达到目标长度或遇到终止符。目前主流实现是 Transformer 解码器——每个音符 token 经过嵌入后进入多层自注意力，与前面所有位置交互，最后用 softmax 输出整个音符词表上的概率分布。上下文窗口则限定了模型能“回想到多远的过去”，窗口越长，越能捕捉长程的旋律结构。

整个续写过程的数学形式是一个条件概率的连乘：

老周那句“感觉”，其实是几十年听过的旋律在他脑中沉淀出的统计规律；Transformer 的“感觉”，则是海量乐谱中学到的转移规律。一个是老乐手的语感，一个是机器的乐感，结构上异曲同工。

条件控制策略

续写时老周还面临一个“度”的问题：完全按你的要求来，曲子会像命题作文一样呆板；完全由着性子发挥，又不像你要的感觉。老周的答案是“七分听你的，三分留给自己”——在大方向上服从条件，在细节处自由挥洒。

模型同样需要这样的平衡杠杆，这就是条件控制策略。控制方式分为全局与局部：全局条件在整个序列上恒定施加，比如流派、速度、情绪基调；局部条件只在某些片段生效，比如某小节情绪渐强、某处要转调。两者结合，才能让续写既“整体对味”又“细节有戏”。

最通用的调节手段是无分类器引导（CFG）：同时训练有条件模型和无条件模型，采样时用二者的对数概率差放大条件信号，引导强度 γ 控制放大倍数。γ=0 时退化为完全自由生成，γ 越大越忠于条件，但过大会让旋律变得僵硬、失去灵气。

γ 就是老周心中的那杆秤：调太低，他弹着弹着忘了你要的民谣味；调太高，他每个音都小心翼翼讨好你，反而失了灵气。好的续写产品，往往把“听话程度”做成一个用户可以拨动的旋钮。

质量评估方法

老周弹完，你俩听了一遍，他问：“怎么样？”你咂咂嘴说：“挺好的，就是最后那个转调有点怪。”你们其实从两个层面评价：一是“和你常听的版本比，音准节奏对不对”（尺子量），二是“顺不顺耳、有没有感觉”（耳朵听）。AI 评估同样是双轨。

哼唱续写的输出是主观艺术，但工程上必须可度量。客观指标自动计算、可复现，适合批量对比；主观评估依赖真人盲听打分，贴近真实体验。还有一致性检验，专门确认生成内容有没有偏离用户指定的风格与情绪。

客观指标最常用的是音高准确率（PA）：逐音符比较生成旋律与参考旋律，音高差在容差范围内就算预测正确。参考旋律通常来自人工标注或高置信度样本：

客观指标是老周随身携带的调音器，能告诉他“有没有按错键”；主观评估是酒馆里那桌听众的反应。真正成熟的续写系统像老周一样，既对音准敏感，更对“感觉”敬畏——两者缺一不可。

应用与挑战

后来老周发现，自己那套“听音记谱、问风格、往下顺”的本事，被人搬进了一个叫“AI 作曲”的手机 App：你对着手机哼一段，几秒钟后一首完整的曲子就回来了，编曲、配器、混音样样齐全。老周成了产品经理口中的“哼唱续写”功能。

哼唱续写是旋律条件生成最典型的落地场景，Suno、Udio、MusicGen 等产品的核心玩法都包含这条链路：哼唱 → 前端处理 → 条件编码 → 自回归生成 → 评估迭代。但落地中还有三座山：数据稀缺——带“哼唱-完整曲”配对的数据远少于纯音乐数据，冷门风格的续写效果骤降；风格控制——用户想要的“感觉”很难用几个标签穷尽，需要更细粒度的条件表达；生成与自由的平衡——既不能完全复刻哼唱导致呆板，也不能放飞自我导致跑题。未来的方向包括多模态条件（哼唱加歌词、加画面情绪）、可解释作曲以及实时交互续写。

从数学上看，哼唱续写就是一次带条件的搜索：

老周听完产品经理的汇报，笑着说：“你们把它做成了产品，但别忘了——一段歌最好听的瞬间，永远是哼唱的人自己的那一句。”技术可以补全旋律，但创作的心意仍来自人的哼唱。这正是条件生成最有魅力的地方：AI 按人的条件续写，人始终握着方向盘。

AI 应用场景

Python 演示

"""Humming continuation demo: learn note-transition rules from a small corpus,then continue a user-hummed melody with a Markov chain model."""from collections import defaultdictimport random  def build_model(corpus):    """Statistics of adjacent note transitions -> conditional table."""    trans = defaultdict(list)    for melody in corpus:        for i in range(len(melody) - 1):            # 记录"听到这个音之后,下一个音是什么"            trans[melody[i]].append(melody[i + 1])    return trans  def continue_melody(hummed, model, length=8, seed=42):    """Given the hummed segment, sample length new notes step by step."""    random.seed(seed)    result = list(hummed)    # 起点是哼唱片段的最后一个音符    current = hummed[-1]    for _ in range(length):        candidates = model.get(current)        if not candidates:            break        # 按经验频率采样: 高频的后续音更容易被选中        nxt = random.choice(candidates)        result.append(nxt)        current = nxt    return result  def is_finished(melody):    """A long final note roughly implies a sense of ending."""    return melody[-1][1] >= 1.5  def main():    # 风格语料: 每首旋律是(音高, 时值)序列, 时值以四分音符为1    corpus = [        [(60, 1), (62, 1), (64, 1), (65, 2), (64, 1), (62, 1), (60, 2)],        [(67, 1), (67, 1), (65, 1), (64, 1), (62, 2), (60, 2)],        [(64, 1), (65, 1), (67, 1), (69, 2), (67, 1), (65, 1), (64, 2)],        [(55, 1), (60, 1), (64, 1), (67, 2), (64, 1), (60, 1), (55, 2)],    ]    model = build_model(corpus)    hummed = [(60, 1), (62, 1), (64, 1)]  # 用户哼唱: do-re-mi    full = continue_melody(hummed, model, length=10)    print("hummed seg :", hummed)    print("generated  :", full[len(hummed):])    print("full melody:", full)    print("ends on a long note:", is_finished(full))  if __name__ == "__main__":    main()

1. trans[melody[i]].append(melody[i + 1])统计语料中相邻音符的转移频次，构成“老周的乐感经验表”。
2. current = hummed[-1]从哼唱片段的最后一个音符出发，作为续写的起点。
3. candidates = model.get(current)查经验表，得到“在这个音之后可能接哪些音”。
4. random.choice(candidates)按出现频率采样，出现越频繁的后续音越容易被选中。
5. melody[-1][1] >= 1.5用最后音符的时值是否足够长，粗略判断旋律是否停在终止感上。

常见误区

面试题