Notta录音转文字：会议记录AI化实践

可视化演示

展示Notta从语音输入到ASR转写、说话人分离、摘要提取的完整AI会议记录流程。

ASR引擎选型：挑一双好耳朵

饭局刚开局，小雅就知道今晚最大的挑战是“听得清”：八个人同时开口、玻璃杯碰撞、空调轰鸣。耳朵不行，后面记什么都是错的。所以她挑选自己的“耳朵”极其挑剔——这双耳朵就是语音识别领域常说的ASR引擎（Automatic Speech Recognition，自动语音识别）。它不是靠一只“真耳朵”在物理上收集声音，而是靠大量数据训练出来的程序模型。

ASR要做的事很朴素：给定一段音频信号 X，猜出最可能的文字 W。这背后是语音识别最经典的贝叶斯公式。它把“猜文本”拆成两件事相乘：先问“这句发音有多像这句话”（声学模型），再问“这句话有多像人话”（语言模型），两者都高，才敢下结论。

所以在做ASR选型时，Notta会像面试服务员一样考察三件事：第一，声学模型的“耳力”——在噪声、口音干扰下还能不能听准；第二，语言模型的“语感”——懂不懂"OKR"“灰度发布”这些开会黑话；第三，是否方便做领域微调，用真实会议数据把通用引擎改造成“会议专家”。小雅之所以能被录用，正是因为店长让她在嘈杂火锅店试听了一晚带口音的点菜，她全听清了——ASR选型就是这趟入职面试，耳朵不行，一切免谈。

说话人分离：认出谁在开口

小雅真正让人称奇的，是分得清“哪句话是谁说的”。程序员在报风险，产品经理想插话，老板一拍桌子定了结论——她都能在笔记本上标清楚。客人并没有自我介绍，她靠的是“听声辨人”：每个人的嗓音像指纹一样独特，这就是声纹特征。技术上，系统先把音频切成小段，每段用神经网络提取成一个声纹向量（一串数字），然后比较两段声音的向量有多“贴近”。

比较两个向量最常用的方法叫余弦相似度：把两个向量看作高维空间里的箭头，看它们方向是否一致。方向越一致，相似度越接近 1，说明大概率是同一个人的声音；方向差得越远，越像两个人。所有片段两两算完相似度后，再用聚类算法把互相像的片段归成一组，输出“说话人1、说话人2”，而不是直接喊出“张三、李四”。

回扣到饭局：小雅从不喊客人名字，只会在本子上写“A桌格子衫男士说……”“A桌长发女士说……”。说话人分离也一样，它做的不是人脸识别式的“认人”，而是“把声音分堆”。之后用户手动把“说话人1”改成“王总”，或通过通讯录匹配补上名字。但正因为分了堆，纪要才有了“谁负责什么”的上下文——这是会议记录AI化最关键的第一步。

智能摘要提取：把流水账变成菜单

客人聊了两小时，小雅不会把每句话都写下来。真写下来那叫会议录音稿，没人愿意读。她的本事是“复述重点”：把一桌散乱的聊天浓缩成“三道招牌菜＋两件待办”。这就是摘要提取。Notta的做法是抽取式与生成式结合——先用算法给每个句子打重要度分，抽出最关键的几句，再用大模型把这些句子改写成通顺简洁的纪要，同时额外识别“谁要做什么”的待办。

打分的经典算法叫TextRank，思路很像社交网络里的“人脉评分”：一个句子如果和很多重要句子“观点相近”，它自己也很重要。句子之间的相似度构成一张网，分数在网络里反复传播，直到稳定。公式里的阻尼系数 d 控制“随大流”的程度，通常取 0.85，意思是每句话 85% 的分数来自邻居的推荐，15% 是保底分。

回到饭局：小雅最后端给客人的不是两小时的录音稿，而是一页纸——上面写着“一致同意下周一上线；李工负责写发布清单；王总对上线风险做了预案”。摘要的意义就在于此：把会议从“时间黑洞”变成“可执行的结论”。这也是为什么Notta的纪要会细分成“讨论要点”“结论”“待办”三个区块，让读纪要的人十秒钟就能接手全部信息。

多语言支持：国际饭局的翻译官

今晚的饭局还有两位外国客户，他们用英文发言，其他人用中文回应，偶尔还冒出"OK"“deadline“这种混搭词。小雅像个三语服务员，中英文无缝切换。她怎么做到的？第一步是”语种识别“——先判断当前这句是中文还是英文。这本质上是个分类问题：系统用不同语言模型分别给这句话打分，哪个语言模型”读起来最顺”，就判给它那个语种。

“读起来最顺”在技术上有量化指标，叫困惑度（PPL）。语言模型会给每个词一个出现概率，概率越高说明越像这种语言；把所有词的概率取对数求平均，再用指数还原成困惑度。困惑度越低，代表这段文本在该语言下越“顺口”。识别出语种后，Notta会切换到对应的转写引擎，甚至把英文发言实时翻译成中文显示在纪要里，跨国会议的沟通成本就这样被降了下来。

小雅能服务国际饭局，不是因为天生会三门外语，而是因为她在三种语言的餐厅都训练过。多语言支持的本质，就是把“多语训练”和“语种识别”打包成一套自动切换流程。对出海团队来说，这解决了一个非常现实的痛点：中英混合的周会不再需要专人翻译，Notta生成的也是双语纪要，谁都能看懂。

Agent化流水线：会自己办事的秘书

小雅最有价值的本事不是记性好，而是“会办事”。饭局还没散，她已经把“张总负责拉群”“李工周五发版”写成了待办；散场十分钟后，她甚至把任务通过店内系统分发到了对应客人的手机上。她像个代理（Agent）——不是被动等指令，而是按标准流程主动完成一整串动作。

这套流水线在Notta内部是层层嵌套的函数调用：原始录音先进ASR转成文本，文本再进摘要模块提炼结论，摘要里再抽取出带负责人和截止时间的待办，最后通过API接口把待办同步到飞书、钉钉或项目管理工具。每一步的输出都是下一步的输入，环环相扣。这也是“Agent化”区别于普通工具的地方：它拥有一个从感知到决策再到行动的完整闭环。

想象一下：如果没有这层Agent化，一场会议结束后，助理要听录音、写纪要、逐条粘贴待办、手动 @ 负责人，整个过程至少一两个小时。而Notta把这条流水线压缩到了会议结束后的几分钟内。对小雅来说，她不只是个记录员，还是个自带行动力的管家——这也是“会议记录AI化”从“省事”升级到“提效”的关键分水岭。

产品横向对比：三家餐厅的金牌服务员

市场上做会议转写的产品不少，就像同一商圈里三家餐厅都有金牌服务员：Otter、飞书妙记和Notta。选哪家，取决于你的饭局是什么风格。Otter是海外老牌，英文转写经验丰富，和Zoom、Teams深度集成，但它对中文的支持和本土化生态相对薄弱；飞书妙记则深度绑定飞书，适合本来就用飞书协作的团队，纪要直接进飞书文档，方便是方便，但离开飞书生态就威力大减。

Notta的差异化打法，正好卡在“中文优化＋Agent自动化”上。它不是要做所有人的服务员，而是要做“中文开会场景下最会办事”的服务员：多语言转写覆盖中日英等语种，生成的纪要和待办能通过Agent流水线分发到各类协作工具。选型时怎么量化比较？最朴素的思路是列一张评分表：每个维度（准确率、中文支持、多语言、生态集成、Agent能力、隐私合规）按产品打分，再乘上权重加总。

回到选餐厅的逻辑：如果你是家法国餐厅，Otter这位会法语的侍者最合适；如果你所有客人都在飞书生态里订座，妙记是顺手的选项；但如果你要的是“中文开完会直接出待办并派发到IM”的一站式服务，Notta就是那位眼疾手快的全能选手。理解了这个加权评分的框架，你就不再被厂商的宣传话术带着走，而是能列出自己的需求清单再下单。

隐私合规防护：签了保密协议的服务员

小雅知道的秘密比谁都多——新产品的定价、裁员名单、并购计划。客人凭什么信她？因为她签过保密协议，餐厅还有监控审计。同理，Notta作为会议工具，处理的是全公司最敏感的信息资产，隐私合规不是加分项，而是生死线。合规的第一步是数据加密：录音和转写文本在传输时用TLS加密，在云端存储时再做一层静态加密，相当于把文件锁进保险柜，快递途中和仓库里都是锁着的。

第二步是权限管理：不是所有员工都能看所有会议纪要，项目A的纪要对项目B的成员不可见，管理员可以配置访问范围、导出权限和有效期。更进一步的合规还包括审计日志（谁在什么时候看了哪份纪要）以及GDPR等法规认证。在统计类场景中，还会用到差分隐私，给输出结果注入精心设计的噪声，让攻击者无法从统计数字里反推出某个具体客人的信息。

对小雅来说，签保密协议不是签个字就完事，而是每天都要遵守“不该看的不看、不该说的不说、被问到了也不能说实话”。隐私合规本质上是一种贯穿产品全生命周期的信用体系：加密是保险柜，权限是门禁卡，合规认证是公信力背书。对于一个会议工具，一旦隐私信任崩塌，再好的转写准确率也留不住客户——这也是Notta敢做企业级服务的前提。

实时转写体验：边吃边记的同步感

小雅最让客人惊叹的，是她从不等饭局结束才补笔记。客人刚说完一句话，她笔下的记录已经跟上了。但仔细看你会发现，她其实有零点几秒的“书写延迟”——不是零延迟，而是快到让人感觉不到。这就是实时转写的真相：它本质上是一种“流式半同步”处理，系统等音频积累成一小块，立刻识别这一块，再继续等下一块，像流水线上逐件加工，而不是等整批原料到齐再开工。

要控制延迟，关键在三个环节：缓冲块大小、特征提取速度和流式解码速度。缓冲块越大，要攒的音频越多，延迟越高；特征提取和解码的耗时则取决于模型效率和算力。工程上追求的是让总延迟小于真实语音的时长——只要处理速度追得上说话速度，用户就感知为“实时”。另外，前端的降噪增强也很重要：麦克风采集到的信号先做降噪，去掉键盘声和空调声，转写引擎拿到的才是“干净”的信号。

所以小雅的“同步感”并不是魔法，而是把每步处理都压进几百毫秒的工程艺术。Notta把实时转写和降噪结合起来，让人在嘈杂的开放办公区、咖啡馆里也能得到干净的转写结果。对用户来说，这种体验的意义在于“安全感”——会议刚结束，纪要已经躺在手机里了，不需要对着录音再花一小时补课。

AI 应用场景

Python 演示

import refrom typing import List, Tuple # 模拟ASR输出的语音片段: (开始时间, 结束时间, 文本)RAW_SEGMENTS: List[Tuple[float, float, str]] = [    (0.0, 1.5, "大家好我们开始今天的会议"),    (1.6, 3.2, "王总这周产品要上线了"),    (3.3, 5.0, "好的我来说明一下测试进度"),    (5.1, 6.8, "接口联调基本完成周五上预发"),    (6.9, 8.4, "那我们周五发版风险大不大"),    (8.5, 10.0, "风险可控我们已经压测了两轮"),    (10.1, 12.0, "既然这样我建议下周一早上上线"),    (12.1, 13.5, "同意那谁负责写发布清单"),    (13.6, 14.8, "我来写会后发到群里"),]  def separate_speakers(segments: List[Tuple[float, float, str]],                      gap_threshold: float = 3.0) -> List[str]:    """简化版说话人分离: 按时间间隙聚类, 模拟声纹聚类效果"""    labels: List[str] = []    prev_end = 0.0    speaker_id = 0    for start, end, _ in segments:        if start - prev_end > gap_threshold:            speaker_id ^= 1        labels.append(f"说话人{speaker_id + 1}")        prev_end = end    return labels  def summarize(segments: List[Tuple[float, float, str]],              top_k: int = 3) -> List[Tuple[float, float, str]]:    """简化版摘要: 按关键词密度与长度打分, 取TopK"""    keyword_bank = ["上线", "发布", "联调", "风险", "压测", "清单"]    scored = []    for start, end, text in segments:        kw_score = sum(1 for kw in keyword_bank if kw in text)        len_score = min(len(text) / 20.0, 1.0)        scored.append((kw_score * 2.0 + len_score, start, end, text))    scored.sort(reverse=True)    return [(s, e, t) for _, s, e, t in scored[:top_k]]  def extract_todos(segments: List[Tuple[float, float, str]],                  speaker_labels: List[str]) -> List[str]:    """提取待办: 命中责任相关表述则记录执行人和内容"""    todos = []    for (start, end, text), speaker in zip(segments, speaker_labels):        if re.search(r"(我建议|我来|负责|会后)", text):            todos.append(f"{speaker} 待办: {text}")    return todos  def main() -> None:    labels = separate_speakers(RAW_SEGMENTS)    print("=== 说话人分离结果 ===")    for (start, end, text), speaker in zip(RAW_SEGMENTS, labels):        print(f"[{start:.0f}s-{end:.0f}s] {speaker}: {text}")    print("\n=== 会议纪要(重点句) ===")    for start, end, text in summarize(RAW_SEGMENTS):        print(f"[{start:.0f}s-{end:.0f}s] {text}")    print("\n=== 待办事项 ===")    for todo in extract_todos(RAW_SEGMENTS, labels):        print(f"- {todo}")  if __name__ == "__main__":    main()

1. separate_speakers(...)模拟说话人分离，用时间间隙作为“换人”信号，真实系统里这里会替换成声纹向量聚类。
2. keyword_bank = ["上线", "发布", ...]模拟领域词典，用于给句子打重要性分。
3. scored.sort(reverse=True)按重要度倒序排列，取前3句作为纪要。
4. re.search(r"(我建议|我来|负责|会后)", text)用正则命中“责任表达”，提取待办责任人。
5. extract_todos(RAW_SEGMENTS, labels)把待办与说话人关联，输出“谁负责什么”。

常见误区

面试题