Agent架构：腾讯会议AI

可视化演示

三步展示腾讯会议AI架构：实时处理链路从音频采集到字幕渲染的端到端低延迟管道、语音视觉文本三模态九项能力矩阵、LLM+RAG智能体实现会议理解与纪要生成的Agent架构。

多模态感知：管家的眼与耳

宴席上，管家判断“现在该给哪位客人续茶”，依靠的从来不是单一信号——他听到李总在轻声咳嗽（声音），看到王总举起了空杯（画面），瞥见投影仪正停在“报价单”这一页（屏幕）。三种线索同时送进大脑，他才能做出准确判断。如果只靠耳朵，就会漏掉“举杯”这个动作；如果只靠眼睛，又听不到具体报价。真正的管家，永远在“多通道”地观察。

对应到腾讯会议 AI，这三种线索就是“模态”：音频流来自麦克风，视频流来自摄像头，屏幕流来自共享演示。仅靠一个模态会闹笑话——只听音频，分不清发言人正翻到哪页 PPT；只看画面，又听不到报价数字。多模态感知的第一步，是把三种信号各自编码成统一维度的向量，再融合成一个能代表“当前会议现场”的上下文向量。

每种模态用一个编码器提取特征，得到 \(f_a\)（音频）、\(f_v\)（视频）、\(f_s\)（屏幕）。融合的关键是权重：权重不是人写死的，而是网络根据当下场景动态学出来的——有人发言时音频权重升高，翻页讲解时屏幕权重升高。数学上，用 softmax 把三个模态的原始打分变成归一化权重：

$$\bar{f} = \sum_{k \in \{a, v, s\}} w_k f_k, \quad w_k = \frac{e^{u_k}}{\sum_j e^{u_j}}$$

1. 模态编码：把音频帧、视频帧、屏幕截图分别送入各自的编码器，得到特征向量。

$$f_a,\ f_v,\ f_s$$

2. 原始打分：融合网络为每个模态输出一个未归一化的实数分数，代表“当下这个模态多重要”。

$$u_a,\ u_v,\ u_s$$

3. softmax 归一：对三个分数取指数再除以总和，得到和为 1 的权重。

$$w_k = \frac{e^{u_k}}{\sum_j e^{u_j}}$$

4. 加权求和：用权重混合三个模态的特征，得到统一的会议上下文向量，供下游模块使用。

$$\bar{f} = w_a f_a + w_v f_v + w_s f_s$$

就像管家会根据局面调整“此时该信耳朵还是信眼睛”，这套动态权重让 Agent 在讨论发言时侧重音频、在讲解方案时侧重屏幕，始终抓住会议真正的信息重心——这是后面所有能力的地基。

实时字幕翻译：同声传译的巧舌

宴会上来了几位海外客户，管家必须一边听中文，一边用英文把意思递过去，不能抢话、不能漏句，还要跟上语速。这就是“同声传译”的节奏：输入在流动，输出也要流动，差半句都会让客人困惑。

腾讯会议 AI 的字幕翻译分两步：先用语音转写（ASR）把音频变成中文文本，再用机器翻译（MT）把中文变成目标语言，最后同步渲染成字幕。难点全在“实时”二字——不能等整场会说完再翻，而要边说边翻，每句话只有几百毫秒的处理时间。这决定了翻译模型必须“逐词滚动”地工作。

现代翻译模型是“自回归”的：生成第 \(t\) 个词时，只看已经生成的前 \(t-1\) 个词和整句原文。整句话的概率由链式法则拆成每一步条件概率的连乘：

$$P(y \mid x) = \prod_{t=1}^{T} P(y_t \mid y_{<t}, x)$$

1. 链式分解：整句译文的概率被拆成每个词概率的连乘，把“翻整句”变成“翻每个词”。

$$P(y) = \prod_{t=1}^{T} P(y_t \mid y_{<t})$$

2. 条件项：第 \(t\) 个词的概率同时依赖已生成的前词 \(y_{<t}\) 和原文 \(x\)，保证译文连贯且忠实。

$$P(y_t \mid y_{<t}, x)$$

3. 逐步解码：每步在词表上取概率最大的词，但用束搜索保留 top-k 候选，避免一步选错满盘皆输。

$$\hat{y}_t = \mathop{\arg\max}_{w \in V} P(y_t = w \mid y_{<t}, x)$$

管家翻译时会记住“这是王总，他在谈折扣，之前提到过八五折”——会议 Agent 同理：会前导入术语表和参会者名单，把“人名、术语”喂给模型，字幕准确率就能明显提升。翻译不是孤立模型，而是会议上下文的一部分。

会议纪要生成：书记员的记忆术

宴席散场，客人离去。管家没有录下每一句寒暄，而是递上一份清单：今晚敲定了什么、谁答应做什么、还有哪个问题悬而未决。这就是“纪要”的价值——它不是录音的替代品，而是录音的提炼物。

会议纪要生成同样不追求逐字复述，而是做摘要：把整场会议的转写文本 \(C\) 压缩成结构化总结，同时用规则或分类模型抽出“决策”和“待办”。腾讯会议 AI 主要用生成式摘要，让大模型“读完全场、重新组织语言”，再配以抽取模型保证“事实不丢失”。

生成式摘要本质上是在条件语言模型上做搜索：在所有可能的摘要 \(S\) 中，找到一句一句接起来概率最大的那一个：

$$S^* = \mathop{\arg\max}_{S} \prod_{t=1}^{|S|} P(s_t \mid s_{<t}, C)$$

1. 摘要评分：候选摘要的得分等于它每句话在会议内容条件下的概率连乘，越长越合理的摘要得分越高。

$$\text{score}(S) = \prod_{t=1}^{|S|} P(s_t \mid s_{<t}, C)$$

2. 搜索空间：所有可能的摘要组合构成 \(|V|^{|S|}\) 级的指数空间，枚举不可能完成，必须近似。

$$|\mathcal{S}| = |V|^{|S|}$$

3. 束搜索近似：实际用 beam search 在概率最高的路径上逐步展开，每步只保留前 k 条候选路径。

$$\hat{S} = \text{BeamSearch}\bigl(\text{score}(S)\bigr)$$

纪要不只是文字：它把决策、待办、遗留问题分门别类，甚至自动关联到屏幕共享里的页面编号，方便会后点开回看。每一条待办都带负责人和关键词——这印证了“清单比录音有用”：会议的价值在于“接下来做什么”，而不在于“刚才说了什么”。

议程管理：宴会的流程导演

宴会进行到一半，有人开始聊明年的预算，把“今晚定折扣”的正题带偏。好管家会不动声色地拉回主线：“王总，报价的事我们还有十分钟，先把折扣定下来？”——他心里有一张流程表，知道现在该进行哪一步。

会议 Agent 的议程管理就是干这件事：实时监听转写文本，判断“现在在聊哪个议题”“话题是否已经切换”“当前议题还剩多少时间”。它有两个输入：一是会议预设的议程表（议题列表），二是实时编码出的上下文向量 \(h_t\)——最近一段时间的转写内容压缩成的向量。

话题识别被建模成分类问题：对 \(K\) 个预先定义的议题，计算上下文向量属于每个议题的概率。概率最高者就是当前议题；当所有概率都骤降，说明出现了“计划外话题”：

$$P(z_t = k) = \frac{e^{w_k^T h_t}}{\sum_{j=1}^{K} e^{w_j^T h_t}}$$

1. 上下文编码：把最近一段时间（如最近 30 秒）的转写文本编码成一个向量，代表“此刻会议在谈什么”。

$$h_t = \text{Enc}(w_{t-30}, \ldots, w_t)$$

2. 相似度打分：每个议题用一个向量表示，与上下文向量做内积得到“匹配分数”。

$$s_k = w_k^T h_t$$

3. 分类决策：分数经 softmax 转成概率，取最大者作为当前议题；概率骤降则触发“话题切换”提醒。

$$\hat{z}_t = \mathop{\arg\max}_{k} P(z_t = k)$$

落在产品上，就是会议右上角的小浮窗：显示当前议题、已用时间、剩余议题数。议题超时时温和提醒，跑题时弹一条“是否回到议程”。这一层让会议从“自由聊天”变成“有节奏的行动”——管家盯流程，人盯内容。

智能问答：随叫随到的老顾问

席间，客服主管突然发问：“三年前我们给华诚的账期到底是几个月？”管家绝不会凭印象乱答。他会说“我去查一下”，转身翻开档案，把合同原文指给你看——这既是对问题的尊重，也是对自己的保护。

会议 Agent 的智能问答也是这样：参会者随时可以提问“上次聊的报价方案是什么”“这条政策今年改过吗”，系统需要把问题与会议上下文、企业知识库联系起来。核心技术是注意力机制：让“问题向量”去会议记录和知识文档里“找最相关的片段”。

注意力把相关片段的值按相似度加权求和，得到对回答问题最有利的上下文向量 \(a\)。相关度高的片段被放大，无关片段被压到接近零：

$$a = \sum_{i=1}^{n} \frac{e^{q^T k_i}}{\sum_{j=1}^{n} e^{q^T k_j}} v_i$$

1. 查询向量：\(q\) 由当前问题编码而来，代表“我想找什么”。

$$q = \text{Enc}(q_{\text{text}})$$

2. 键向量匹配：每个候选片段有一个键 \(k_i\)，与 \(q\) 做内积，分数越高表示越相关。

$$\text{sim}_i = q^T k_i$$

3. 权重归一：softmax 把相关度变成和为 1 的注意力权重。

$$\alpha_i = \frac{e^{q^T k_i}}{\sum_j e^{q^T k_j}}$$

4. 加权聚合：用权重把各片段携带的值 \(v_i\) 混合成最终上下文，交给生成模型组织答案。

$$a = \sum_{i=1}^{n} \alpha_i v_i$$

更关键的是“引用溯源”：每一条回答都标注“这句出自某月某日的会议记录、某份文档第几页”。有了出处，参会者可以对答案提出质疑，Agent 也可以据此修正——这正是它能在企业中赢得信任的根基。

知识库检索：后厨的百宝柜

管家最让人佩服的本事，在于“后厨的百宝柜”：客人问政策、问客户、问排期，他都知道去哪一格、拿哪一份文件。这不是靠背下来的，而是“需要时再取”——档案永远是最新版，他也永远知道怎么找。

这就是 RAG（Retrieval-Augmented Generation，检索增强生成）的思想：模型不擅长记住企业事实，那就让模型“先查再答”。腾讯会议 AI 把企业知识库——制度文档、产品手册、历史纪要——切片后做向量化索引；提问时先检索最相关的 top-k 片段，再让模型基于这些片段生成答案。

形式上，RAG 把答案的生成看作“检索分布 × 生成分布”的边际求和：先看哪些文档与问题相关，再看基于这些文档如何生成答案：

$$P(y \mid x) = \sum_{z \in \mathcal{Z}} P(z \mid x) \, P(y \mid z, x)$$

1. 检索候选集：先用向量检索从知识库中取回相关度最高的 \(k\) 个文档片段，构成候选集合。

$$\mathcal{Z} = \{z_1, \ldots, z_k\}$$

2. 检索分布：\(P(z \mid x)\) 由问题与片段的向量相似度决定，相关度越高权重越大。

$$P(z_i \mid x) = \text{softmax}\bigl(\text{sim}(q, z_i)\bigr)$$

3. 生成分布：模型以检索片段为“参考材料”，逐词生成答案，过程同样是自回归。

$$P(y \mid z, x) = \prod_{t} P(y_t \mid y_{<t}, z, x)$$

4. 边际求和：对所有候选片段的结果求加权平均，实践中常以近似方式完成。

$$P(y \mid x) \approx \sum_{i=1}^{k} P(z_i \mid x) P(y \mid z_i, x)$$

实测中，RAG 显著提升了问答准确率：会议里出现“上次说的折扣”这类指代时，Agent 能匹配到历史纪要中的具体条款，而不是凭空发挥。同时，文档权限控制（谁能检索哪些内容）也一并解决了企业的数据安全问题——百宝柜上了锁，管家才有资格开。

可靠性保障：上菜前的品控

一场重要宴席，管家在任何环节都不允许出错。他有个习惯：每道菜上桌前自己先尝一口；每句翻译如果没把握，就明说“这句我需要和主人确认”。宁可慢一点，不可错一点。

会议 Agent 的可靠性保障同样贯穿全流程：语音转写给出置信度，翻译给出置信度，纪要生成的每一条待办也可给出置信度。当置信度低于设定阈值，系统不硬着头皮输出，而是“回退”——显示“此处识别可能有误”、把低置信片段送入人工复核队列，或向用户反问确认。

核心机制是一个简单的阈值决策：模型对最可能输出给出的概率，就是置信分；低于阈值就降级处理。

$$\text{conf}(x) = \max_y P(y \mid x), \quad \text{输出} = \begin{cases} \text{自动结果}, & \text{conf}(x) \ge \tau \\ \text{人工复核}, & \text{conf}(x) < \tau \end{cases}$$

1. 置信度提取：取模型对最可能输出的概率作为置信分数，概率越高代表模型越“有把握”。

$$\text{conf}(x) = \max_y P(y \mid x)$$

2. 阈值比较：与经验设定的阈值 \(\tau\) 比较（如 0.7），达到阈值才允许自动输出。

$$\text{conf}(x) \ge \tau$$

3. 兜底回退：低于阈值时，不直接输出，而是降级为人工确认或重新提问，避免错误进入交付物。

$$\text{fallback}(x) = \text{人工复核}, \quad \text{若 } \text{conf}(x) < \tau$$

除此之外，还有双重校验：纪要生成后与转写原文做一致性检查，翻译数字时做数值一致性校验（“3月15日”不能翻成“3月5日”）。这一整套“品控防线”让 Agent 从“能用”变成“敢用”，也让每次错误都有迹可循、可回溯、可改进——管家也会犯错，但他从不放过自己的错。

AI 应用场景

Python 演示

import re  class MeetingAgent:    """一个极简的会议 Agent：检索企业知识库 + 生成结构化纪要"""     def __init__(self):        self.kb = {            "折扣": "大客户年度采购可享八五折，需销售总监审批。",            "升级": "企业版升级包按月滚动发布，本月新增实时字幕。",            "排期": "新功能排期由每周三的产品评审会统一决定。",        }        self.kb_index = None        self.action_pat = re.compile(r"(请|需要|尽快|安排|确认|跟进)(.{2,30}?)([。；;])")        self.decision_pat = re.compile(r"(决定|确认|通过|同意)(.{2,30}?)([。；;])")     def build_index(self):        self.kb_index = []        for key, text in self.kb.items():            tokens = set(key) | set(text)            self.kb_index.append((key, text, tokens))     def retrieve(self, query, top_k=2):        if self.kb_index is None:            self.build_index()        q_tokens = set(query)        scored = []        for key, text, tokens in self.kb_index:            hit = len(q_tokens & tokens) / (len(q_tokens) + 1e-6)            scored.append((hit, key, text))        scored.sort(reverse=True)        return [item[1:] for item in scored[:top_k] if item[0] > 0]     def answer(self, query):        hits = self.retrieve(query)        if not hits:            return "抱歉，知识库中没有找到相关信息，建议咨询管理员。"        source = "，".join(key for key, _ in hits)        evidence = "；".join(text for _, text in hits)        return "根据企业知识库检索，{evi}（参考资料：{src}）".format(            evi=evidence, src=source        )     def generate_minutes(self, transcript):        actions = []        decisions = []        for turn in transcript:            speaker, text = turn            for m in self.action_pat.findall(text):                actions.append((speaker, m[0] + m[1]))            for m in self.decision_pat.findall(text):                decisions.append((speaker, m[0] + m[1]))        lines = ["# 会议纪要", "## 关键决策"]        lines += ["- {s}：{d}".format(s=s, d=d) for s, d in decisions]        lines.append("## 待办事项")        lines += ["- [ ] {s}：{a}".format(s=s, a=a) for s, a in actions]        return "\n".join(lines)  if __name__ == "__main__":    agent = MeetingAgent()    transcript = [        ("王总", "我们决定采购企业版，请法务尽快确认合同条款。"),        ("李工", "需要技术部安排升级排期，确认本月完成。"),        ("王总", "同意八五折方案，请销售跟进客户反馈。"),    ]    print(agent.generate_minutes(transcript))    print("---")    print(agent.answer("企业版升级多久发布一次？"))

1. self.kb_index = None预留检索索引的存放位置，首次检索时才构建，类似管家的档案柜“用前再开”。
2. tokens = set(key) | set(text)把标题和正文拆成字符级 token 集合，作为极简的“向量”。
3. hit = len(q_tokens & tokens) / (len(q_tokens) + 1e-6)用问题与文档的字符交集比例近似语义相关度，分母加极小值防止除零。
4. scored.sort(reverse=True)按相关度降序排列文档，取前 top_k 作为检索候选集。
5. return "根据企业知识库检索，{evi}（参考资料：{src}）".format(evi=evidence, src=source)组织带引用溯源的回答，对应正文中的“答案必须可追溯”。
6. for m in self.action_pat.findall(text):用正则匹配“请/需要/尽快”等催促词，抽取待办短语。
7. lines += ["- [ ] {s}：{a}".format(s=s, a=a) for s, a in actions]生成 Markdown 待办清单，可以直接粘贴进任务系统。

常见误区

面试题