想象你是一位宴会的男主人。宾客们觥筹交错、七嘴八舌,你一边招呼客人,一边还要记住谁提了什么要求、谁答应去做什么。一场宴会下来,你筋疲力尽,还常常漏掉重要的事。现在,你请来一位金牌管家——飞书妙记。他有一双“顺风耳”,能一字不差地记下每位宾客说的话;他记得住每个人的声音,知道哪句话出自谁口;宴会结束时,他呈上一张简明“纪要卡”,把决策与重点讲得清清楚楚;他还会把宾客托付的事情写成待办清单,一件件盯到落实。更妙的是,这位管家从不休假,还能把历次宴会记录收进家族档案库,随时调阅。这篇内容将带你走进管家的工作间,看看“实时转写、说话人分离、智能摘要、待办提取、系统架构与生态集成”这些本领分别是怎么实现的。
学会这套会议记录自动化范式,等于掌握了语音转写、说话人分离、摘要生成、待办提取与生态集成的完整 Agent 落地链路,是 AI 应用开发者最高频的实战样本。
可视化演示
展示飞书妙记实时语音转写、智能摘要生成与待办自动提取分发的一体化会议记录流程。
本节配有交互动效(进入视口后自动加载,约 3KB)。
实时语音转写流程 青色音频流实时经ASR引擎转写为文字,独立音轨实现精准说话人分离 Audio Stream → ASR → Live Text 低延迟流式转写平衡准确率与实时性
实时语音转写
宴会上宾客一开口,管家就在随身小本上刷刷记下原话,一个字都不落。妙记的“顺风耳”就是实时语音转写引擎:麦克风捕捉到声音的瞬间,系统就开始把语音变成文字,会议还没结束,文字稿已经长出来了。这正是它区别于录音笔的地方——不是“事后整理”,而是“边说边有”。
转写引擎采用“流式”工作方式,它不像传统录音笔那样等你说完再统一处理,而是边听边出字。每收到一小段音频(比如几百毫秒),就立即识别并追加到文稿里。为了让文字可读,引擎还会自动补充标点、划分句子,甚至把“嗯”“啊”这类语气词过滤掉,让“口语瀑布”变成一篇清爽的“发言记录”。
转写不可能 100% 正确,行业里用词错误率 WER 来衡量。假设一句话有 N 个参考词,引擎把其中 S 个词认错(替换)、漏掉 D 个词(删除)、多写出 I 个词(插入),WER 就是三类错误总数除以 N:
就像管家的小本子偶尔也有潦草的字迹,WER 就是衡量“潦草程度”的尺子。理解了它,你就明白妙记为什么总是在演示时强调“安静环境”和“普通话清晰”——因为这两点直接决定顺风耳的灵敏程度。
- 替换误差 S把正确的词听成了另一个词,比如把“原型”听成“圆形”。这是转写最主要的误差来源。
- 删除误差 D有些词被漏听,文稿里根本没有出现。漏掉的往往是语速过快或含糊吞音的词。
- 插入误差 I原文没有的词被多写出来,比如环境噪音被误识别成“那个”。
- 参考词数 N人工核对后的标准转写文本包含的总词数,是各类误差的分母。
说话人分离识别
宴会里十位宾客同时开口,管家却能分辨每句话出自谁口。这不是魔法,而是他记住了每个人的声音特征——就像我们蒙上眼睛也能听出妈妈的声音,这叫“声纹”。妙记在转写的同时,也在悄悄做这件事:给每一段音频认领主人。
妙记会对每一小段音频提取一个“声纹向量”,把声音变成一串数字。同一个人说话时,声纹向量很接近;不同人说话时,向量相距很远。系统把相近的向量自动聚成一堆,每一堆就对应一个人,这就是说话人分离(Speaker Diarization)。它不需要提前注册每个人的声音,会议开完才知道“现场有几个人、分别是谁”。
说话人分离的核心是比较两个声纹向量有多像,最常用的度量是余弦相似度:
会后管家还会请主人核一眼:“这句应该是张总说的吧?”妙记允许主持人在界面上手动合并、拖拽或重命名说话人,这些人工修正会反馈到后续处理中,让纪要卡上的名字越来越准。
- 声纹向量 a、b每个发言片段都被压缩成一个高维数字向量,每一维刻画音色、语调等声学特征。
- 向量点积把两个向量对应维度相乘再求和,衡量“同方向的程度”。
- 向量范数向量的“长度”,用来抵消音量大小、距离远近带来的影响。
- 余弦相似度点积除以两个范数,只比较方向不比较大小。同一人不同时间段的声纹方向非常接近。
智能摘要生成
宴会结束,宾客散去,管家递上一张“纪要卡”:不写流水账,只写三件事——大家达成了什么、分歧在哪里、下一步做什么。这就是智能摘要的本事。它的目标不是“复述会议”,而是“替你读完全场”。
妙记的摘要采用“提取 + 生成”两步走。第一步提取:给每个句子打分,把最关键的句子原样挑出来;第二步生成:让大模型把挑出的要点重新组织成通顺的短文。打分时主要看三方面:句子本身的信息量、它在文稿中的位置(开头结尾通常更重要)、以及它与其他句子的重复程度。
把三个因素加权合并,就得到一个句子的综合得分:
更关键的是可控性。主人吩咐“纪要卡要分结论和待办两栏”,管家照办;妙记支持自定义摘要模板、控制摘要长度、指定关键词高亮,让纪要卡从“千篇一律”变成“量身定制”。
- 句子信息量 Sal用关键词密度、专有名词数量来衡量句子“含金量”。
- 位置权重 Pos会议开头提出议题、结尾总结结论,这两个位置的句子天然更重要。
- 重复惩罚 Dup和前面句子太像的句子会被扣分,避免摘要翻来覆去说同一件事。
- 加权系数三个系数相加为 1,通过标注数据调参确定,比如 α=0.5、β=0.3、γ=0.2。
待办提取分发
宴会中有宾客说“我改天把酒送过来”,管家耳朵一动,立刻在小本子上记下一条“待办:张三送酒,日期待定”。会议里藏着无数这样的行动承诺,飞书妙记的待办提取就是那位耳聪目明的管家,负责把“随口一说”变成“白纸黑字”。
待办提取本质上是一个“二元分类 + 信息抽取”任务。系统先判断某句话到底是不是在布置任务(分类),再抽出责任人、动作、截止时间三个要素。经验上,“需要、必须、负责、本周、明天、跟进”这类动作句式是强信号。抽取出的结果会以“任务卡片”形式出现,可以一键指派给飞书联系人并设置提醒。
判断“这句话是不是待办”是一个典型的二分类问题,用逻辑回归或神经网络尾部接 sigmoid 完成:
光提取还不够,管家要“盯到底”。妙记与飞书任务、日历打通:待办被认领后进入“未完成→进行中→已完成”的闭环,到截止日自动提醒。这正是“行动追踪”四个字的含义,也是会议成果不落空的关键。
- 特征向量把句子拆成“是否含动作词、是否含责任人、是否含时间词”等信号。
- 线性打分每个特征乘上对应权重再求和,权重表示该特征对“是待办”的贡献大小。
- sigmoid 压缩把任意实数压到 (0,1) 区间,正好可以当作概率使用。
- 阈值判定概率 ≥ 0.5 判定为待办,随后进入责任人、期限抽取环节。
架构性能度量
管家再厉害,也要有顺手的工具间:传声管、速记台、书房。妙记的“工具间”是一条端到端流水线:音频采集 → 流式转写 → 说话人分离 → 摘要生成 → 待办提取,每个环节各司其职,像流水线上的工位一样协作。
要让“实时”名副其实,难点全在低延迟设计。音频被切成小块,边采边识别;转写结果同时喂给后端的说话人分离和摘要模块;大模型摘要跑在独立进程,避免阻塞转写。整条链路的目标是把“从开口到看见文字”的延迟压在几百毫秒到一两秒内。用户感知到的总延迟,是各个环环节节延迟之和:
考核管家不能只看“勤快”,还要看“准”。飞书宣传的“转写准确率高达 98%”指理想条件下的字准率(1 − WER);真实办公环境有口音、方言、抢话,WER 会明显上升。理解准确率与延迟之间的“跷跷板”,你就能看懂产品每次更新背后的取舍。
- 采集延迟麦克风与网络把音频送到服务器的耗时。
- 转写延迟语音识别引擎处理该音频块并吐出文字的时间。
- 摘要延迟大模型生成摘要与待办的耗时,通常与转写并行执行。
- 展示延迟前端渲染、推送通知等客户端侧的耗时。
生态场景集成
金牌管家还有个了不起的习惯:把历次宴会的纪要卡和原始账本分门别类收进家族档案库。妙记同样不满足于“记完就忘”,而是把每场会议的录音、文字稿、摘要、待办全部沉淀进飞书知识库,让会议变成团队的资产。
集成体现在三个层面。第一,与飞书会议联动:预约会议时勾选“妙记”,会议一开始就自动录制转写;第二,回放对齐:点击纪要里的任意一句,视频自动跳到对应时间点,回查极其方便;第三,知识库沉淀:纪要被结构化后可以跨会议检索,“上次我们怎么决定预算的?”一句话就能找到答案。
知识库的价值在于“被反复调用”,衡量沉淀效果可以看纪要复用率:
这正是“会议内容沉淀”的终极意义——从“听过就忘”变成“随取随用”。管家记的不只是一场宴会,而是这个家族多年的交情与约定;飞书妙记沉淀的也不只是一次会议,而是整个团队的集体记忆。
- 被引用纪要数被后续会议、文档或搜索功能命中过的纪要数量。
- 总纪要数知识库中沉淀的全部会议纪要数量。
- 复用率解读取值范围 0% 到 100%,越接近 100% 说明沉淀越有效、检索越顺畅。
AI 应用场景
周会行动闭环
阶段:待办提取与分发跟踪
解决的问题:传统周会记了一堆笔记,散会后没人跟进,任务石沉大海。妙记自动提取待办,指派负责人,并在飞书中持续跟踪提醒,让“会上说的”变成“会后做的”。
具体案例:某互联网团队每周一上午开例会,散会后系统自动把“研发周四前提测”“运营周五前发通告”变成任务卡片,推送给对应工程师;逾期未完成还会自动在群里 @ 提醒,团队任务完成率提升了约 40%。
客户访谈纪要
阶段:实时转写 + 说话人分离 + 智能摘要
解决的问题:咨询顾问做客户访谈,两小时录音往往要花四小时整理,还分不清哪句话是谁说的。妙记实时转写并分离说话人,访谈刚结束就能拿到带人名的纪要稿。
具体案例:某咨询团队用妙记做客户深度访谈,结束后直接把摘要和待办(“客户要求下周三前给方案”)发给客户确认,原本半天的整理工作压缩到十分钟,客户对响应速度赞不绝口。
培训课堂沉淀
阶段:知识库沉淀与检索复用
解决的问题:企业内训课讲完就散,内容无法复用。妙记把课程录音自动转为文字稿和要点,进入知识库后支持跨场次检索,让培训价值持续发酵。
具体案例:某技术团队把每周技术分享会都接入妙记,新同学入职后想了解“微服务”,在知识库一搜,就能看到往期所有相关讲解与讨论,大大缩短了上手时间。
Python 演示
# -*- coding: utf-8 -*-"""飞书妙记核心流程简化模拟: 转写->说话人分离->摘要->待办提取"""import re def simulate_transcribe(dialogue): """模拟流式转写: 把(说话人, 内容)列表变成带时间戳的文本流.""" lines = [] t = 0.0 for speaker, text in dialogue: lines.append({"time": round(t, 1), "speaker": speaker, "text": text}) t += 2.0 return lines def extract_speakers(records): """说话人分离: 返回去重后的说话人列表.""" speakers = [] for r in records: if r["speaker"] not in speakers: speakers.append(r["speaker"]) return speakers def summarize(sentences, top_k=3): """提取式摘要: 用位置权重+关键词命中给句子打分.""" def score(s, idx): pos = 1.0 if idx < 2 else 0.5 kw = sum(1 for w in ["结论", "决定", "必须", "目标", "问题"] if w in s) return pos + kw * 0.8 ranked = sorted(enumerate(sentences), key=lambda x: -score(x[1], x[0])) return [sentences[i] for i, _ in ranked[:top_k]] def extract_todos(records): """待办提取: 用正则识别动作句式并绑定责任人.""" todos = [] for r in records: m = re.search(r"(?:需要|负责|本周|明天|跟进).{0,12}?", r["text"]) if m: todos.append({"owner": r["speaker"], "action": m.group(0)}) return todos def main(): dialogue = [ ("产品", "本周需要完成原型的用户调研"), ("研发", "我来负责接口联调, 明天给出排期"), ("运营", "需要跟进发布通告的文案"), ("产品", "结论: 周五前确认方案"), ] records = simulate_transcribe(dialogue) print("转写结果:") for r in records: print(" [%s] %s" % (r["speaker"], r["text"])) print("说话人分离:", "、".join(extract_speakers(records))) sentences = [r["text"] for r in records] print("智能摘要:") for s in summarize(sentences): print(" -", s) print("待办提取:") for td in extract_todos(records): print(" - %s 负责: %s" % (td["owner"], td["action"])) if __name__ == "__main__": main()
lines.append({"time": round(t, 1), "speaker": speaker, "text": text})为每句话盖上时间戳,模拟流式转写输出。def summarize(sentences, top_k=3):摘要入口,内部定义打分函数。kw = sum(1 for w in ["结论", "决定", "必须", "目标", "问题"] if w in s)用关键词命中数近似“信息量”。ranked = sorted(enumerate(sentences), key=lambda x: -score(x[1], x[0]))按分数从高到低排序,取前 top_k 句。m = re.search(r"(?:需要|负责|本周|明天|跟进).{0,12}?", r["text"])用正则匹配动作句式,识别潜在待办。todos.append({"owner": r["speaker"], "action": m.group(0)})把发言人记为责任人,动作原文作为任务内容。if __name__ == "__main__":可执行入口,直接运行即可看到完整会议流水线输出。
常见误区
误区我以为妙记转写是“无损复制”,再嘈杂的环境、再浓的口音都能一字不差,技术上早就 100% 准确了。
正解转写是概率模型,WER 永远大于 0。普通话清晰加安静环境可以做到 95% 以上的字准率,但口音重、多人抢话、专业术语会让错误率明显上升。理解 WER 才能建立合理预期,也才知道会前人工校对为什么必要。就像管家记话再快,遇到大嗓门和方言也要事后核对。
为何常见:演示视频总是挑最清晰的片段,加上“AI 无所不能”的直觉,用户很容易脑补出完美结果。
误区我以为摘要就是把文字稿“瘦身”,系统把每句话缩短一点再拼起来,本质上还是全文的缩写。
正解摘要是“提取 + 生成”双引擎:先按信息量、位置、重复度挑出关键句,再让大模型重新组织语言,还可能按模板输出“结论、待办、风险”结构。它是带有取舍和观点的提炼,而不是机械压缩。
为何常见:摘要里看起来“都是说过的话”,用户误以为只是长度变化,看不到背后的打分与生成机制。
误区我以为得像指纹打卡机一样,先让每个参会人录一段声音,会议开始后才能识别出谁是谁。
正解妙记的说话人分离是“无监督聚类”:现场提取声纹向量,把相似的片段自动聚成几堆,显示为“说话人 1、2、3”。会后主持人可以手动改名、合并,系统记下修正并用于后续会议,不需要任何预先注册。
为何常见:人脸识别、声纹锁这类“先注册后识别”的产品深入人心,让人误以为所有声音识别都要预注册。
误区只要会上有人说了一句“这个得做”,妙记就应该自动生成一条完美待办,漏掉了就是产品不合格。
正解待办提取依赖明确的动作句式与语义角色。隐含任务、模糊承诺(如“再说吧”)和反讽语气都很容易被漏掉,准确率取决于表达清晰度。实际使用中建议配合人工二次确认,让“提取 + 人审”形成闭环。管家再机灵,也要主人点头确认才去办事。
为何常见:人们对 AI 有“全知全能”的期待,而演示往往只展示成功案例,隐藏了失败样本。
面试题
Q1. 飞书妙记最核心的底层能力是什么?
- A.实时语音识别转写← 正确答案
- B.视频画面高清渲染
- C.日程提醒自动推送
- D.文件加密传输协议
答案:A。飞书妙记的一切能力都建立在实时语音转写上:先有文字稿,才有摘要、待办和检索。选项 B、C、D 更像是周边功能或通用能力,不是妙记区别于普通会议工具的核心。就像管家本领再多,“记得住话”才是第一位的。
Q2. 衡量语音转写准确率最常用的指标是?
- A.词错误率 WER← 正确答案
- B.模型参数量大小
- C.接口响应码数量
- D.后台服务器数量
答案:A。WER(词错误率)把替换、删除、插入三类错误加起来除以总词数,是语音识别领域公认的准确率标尺。参数大小、响应码、服务器数量都不直接反映“转写对不对”。
Q3. 说话人分离解决的核心问题是?
- A.将会议录音文件进行压缩
- B.谁在什么时间说了什么← 正确答案
- C.把讲话语音转换为文字稿
- D.自动屏蔽会议的背景噪音
答案:B。说话人分离解决“谁在什么时候说了什么”,任务是把音频按声纹聚类成不同说话人并标注时间段。转写解决的是“说了什么”,降噪和压缩是预处理环节,都不是分离本身。
Q4. 提取式摘要与生成式摘要的主要区别在于?
- A.前者必须联网后者可离线
- B.前者选原文句子后者重组语言← 正确答案
- C.前者只支持中文后者支持英文
- D.前者输出更短后者输出更长
答案:B。提取式摘要从原文里“挑句子”,忠实但可能生硬;生成式摘要用大模型“重新组织语言”,流畅但可能改写原意。联网、语言、长度都不是两类摘要的本质区别。
Q5. 妙记待办提取主要依赖什么信息?
- A.参会人数与会议总时长
- B.屏幕共享的分辨率大小
- C.动作句式与责任人上下文← 正确答案
- D.网络带宽与服务器位置
答案:C。待办提取依靠“需要、负责、本周”等动作句式定位任务,再结合上下文抽出责任人与期限。参会人数、分辨率、带宽与“谁该做什么”毫无关系。
Q6. 以下哪些属于智能摘要的可控性体现?
- A.自定义摘要模板← 正确答案
- B.控制摘要长度← 正确答案
- C.指定关键词高亮← 正确答案
- D.自动清理全部记录
答案:ABC。模板、长度、关键词高亮都是用户在摘要阶段可以调节的“旋钮”,体现可控性。自动清理记录属于数据管理,和摘要生成无关。
Q7. 在 WER 计算中,哪些属于误差类型?
- A.替换误差← 正确答案
- B.删除误差← 正确答案
- C.插入误差← 正确答案
- D.压缩误差
答案:ABC。WER 的分子由替换(S)、删除(D)、插入(I)三类误差构成。“压缩误差”不是语音识别的误差类型,也不在 WER 公式中。把三个字母记牢,就掌握了转写评估的核心。
Q8. 端到端延迟主要由哪些环节贡献?
- A.音频采集编码← 正确答案
- B.语音识别推理← 正确答案
- C.摘要生成处理← 正确答案
- D.会议演示文稿
答案:ABC。端到端延迟 = 采集 + 转写 + 摘要 + 展示。音频采集、识别推理、摘要生成都是延迟来源,而“会议演示文稿”是会议的内容载体,不构成处理链路中的耗时环节。
Q9. 说话人分离通常如何建模?
- A.对音频做无损压缩处理
- B.提取声纹向量再聚类← 正确答案
- C.将录音转成标准五线谱
- D.用视频帧率估算音高
答案:B。说话人分离的标准做法是提取声纹向量,再用余弦相似度聚类,把特征相近的片段归为同一人。压缩、谱面、帧率都不是声学特征建模的手段。
Q10. 妙记与飞书生态的集成不包括?
- A.会议回放同步对齐
- B.纪要一键入知识库
- C.自动创建待办任务
- D.直接发放会议红包← 正确答案
答案:D。回放对齐、知识库沉淀、待办创建都是妙记与飞书生态的真实集成场景;“发放红包”与会议记录自动化无关,是干扰项。记住生态集成的三个关键词:联动、对齐、沉淀。