生成式问答系统大模型实战

可视化演示

通过RAG问答架构、答案生成流程和事实性控制机制三个维度，动态展示检索增强生成的完整管线、上下文融合生成过程与答案可信度保障策略。

生成式问答基础

把大模型想象成一位知识渊博的学霸。传统检索式问答系统像一个只会翻目录的学生——他从题库里找到最相似的现成答案，原封不动地抄给你。而生成式问答则是开卷作文考试：学霸读懂题目后，结合翻到的资料，用自己的话组织出一段全新的文字。“生成”这个词的精髓就在于此——答案是写出来的，不是抄出来的。

这位“学霸”之所以能写，靠的是对语言的概率建模。大模型在训练时读过海量文本，学会了下意识预测“下一个词最可能是什么”。你说“今天天气”，他心里会盘算“很好”“不错”“晴朗”等候选词各有多大概率。生成式问答的本质，就是不断预测下一个词，再一个词一个词地拼接出完整答案。

在数学上，模型会把所有候选词的概率算出来，挑选一个输出；然后接着预测下一个词。整段答案出现的概率，等于每个词在给定前文条件下出现概率的乘积。这就是自回归语言模型的核心思想。

回到学霸身上，他每写一个词，都会回看已经写出的句子，盘算“接下来怎么接最通顺”。因为开卷考试允许翻书，他还可以随时确认自己没记错。把“组织语言”交给大模型的同时，把“查阅资料”这件容易出错的事，交给接下来要讲的检索环节——这就是RAG登场的理由。

检索增强原理

学霸开卷考试不是瞎翻书。他会先看目录，锁定与题目相关的章节，快速翻到那一页，把关键段落折个角，然后才开始作答。检索增强生成（RAG）把这套动作搬进了AI系统：大模型在回答前，先从外部知识库检索与问题相关的文档片段，把片段拼进提示词，再让模型基于“查到的内容”生成答案。

为什么非要检索？大模型的“记忆”有截止日期，还可能记错。企业内部的规章制度、产品文档，模型根本没读过。RAG相当于给模型配了一本永不遗忘、随时更新的“活教材”：知识库独立维护，每次答题前实时查证，既让新知识可用，又大大降低了凭空编造的风险。

RAG的完整链路分三步：离线建索引、在线检索、生成。离线预处理时，长文档被切成小块并向量化；在线检索时，用户问题同样向量化，然后与所有文档块计算相似度，取出最相关的TopK块；最后把这些块注入提示词。判断两个文本“像不像”（即语义相近程度）要用到向量间的夹角关系，也就是余弦相似度公式。

学霸在考场上的“翻书”动作被RAG拆解得明明白白：查目录对应“向量化索引”，翻页对应“相似度排序”，折角标记对应“截取TopK片段”。这套流程让AI的回答不再是凭空想象，而是有出处、可溯源的。

提示词工程

同一个学霸，你用不同方式问，得到的答案质量天差地别。你问“这个系统怎么用”，他可能泛泛而谈；但你说“请根据以下操作手册，用三步说明新人如何开通账号”，他立刻给出精准的步骤。提示词工程，就是研究如何正确向大模型提问和下达指令。

在RAG场景里，提示词扮演着“答卷要求”的角色。一份合格的提示词会明确规定：只能依据提供的参考资料回答、不知道就直说不要编造、答案控制在规定字数内、必要时列出引用来源。模型收到的上下文越清晰，生成的内容就越可控。

从技术底层看，提示词中的每个字都会影响模型对“下一个词”概率分布的判断。模型内部先给每个候选词打出原始分数（logits），再通过softmax把分数转换成概率。其中有一个关键旋钮——温度T，它控制概率分布的“陡峭”程度：T越大，分布越平缓，随机性越强；T越小，分布越尖锐，输出越确定。

如果说知识库是学霸的教材，提示词就是考卷上的“答题要求”。把要求写清楚、把裁判规则亮出来，模型才有章可循。提示词工程看似只是“会说话”，实则是人机协作的第一道闸门，直接决定了模型写出的答案质量上限。

答案生成

学霸提笔作答时，面对的是一连串选择题：每写一个词，都要从无数候选词里挑一个。AI的“写作过程”同样如此。模型每步算出所有候选词的概率分布，然后按某种“决策策略”选词。这个决策策略，就是解码策略。

最简单的策略是贪婪解码：每次都选概率最大的词，缺点是容易啰嗦重复、缺少惊喜。更聪明的是束搜索（Beam Search）：每一步同时保留概率最高的K条候选序列，等走到句尾，再挑总得分最高的一条。还有采样解码：按概率分布随机选词，让生成内容更丰富多变。问答场景通常偏好确定性，所以常用束搜索或低温度采样。

束搜索的得分计算方式是：对序列中每个词的对数概率取平均，用长度归一化避免模型一味偏好短句。工程实践中，多数问答系统默认把温度设在 0.1～0.3 之间，保证答案稳定可靠。

学霸写完一段话会习惯通读一遍；束搜索就像“多路草稿PK”——同时写K个版本，最后选最通顺连贯的那个。温度则是学霸的“灵感系数”：灵感泛滥（T高）时天马行空，灵感收束（T低）时严谨保守。问答系统需要稳定可靠，所以一般让学霸收敛一些，只在创意写作时才放松温度。

事实控制

学霸最可怕的地方，不是不会做题，而是不会做的题也能一本正经地胡写。大模型同样如此——它可能用非常流畅、自信的语气，讲出完全不存在的事情。这在业界被称为幻觉（hallucination）。事实控制的目标，就是给模型的“自信”装上刹车。

为什么模型会幻觉？因为它本质上是个“续写机器”，只学会了“读起来像真的”，并不真正区分事实与虚构。当训练数据不足、问题超出知识边界、或检索到的上下文不充分时，模型就会放飞自我，用最高概率的“套路话”补齐答案——就像学霸遇到不会的题，硬着头皮也要把卷子写满。

实践中控制幻觉有三种常用手段。首先是RAG本身——把“答案材料”直接摆到模型眼前，并要求“只依据材料回答”；其次是提示词约束——明确写“如果材料中没有，请在答案中说明你不知道”；再次是置信度评估——用困惑度（perplexity）衡量模型对生成内容的确定程度，困惑度过高时系统可自动转人工或拒绝回答。

困惑度就像学霸答题时的“犹豫程度”——真的会做的题下笔如飞（低困惑），不会硬编的题笔尖悬在空中半天（高困惑）。系统通过监控这种“犹豫信号”，能提前觉察模型正在编造，及时启用兜底策略：回答“我无法确认这个信息”，而不是让幻觉溜出去误导用户。

评估优化

老师阅卷时，不会只看字好不好看，还会看内容对不对、有没有答到点子上。评估一个生成式QA系统也要多维度打分：答案通顺吗？事实准确吗？忠实于知识库吗？响应快不快？其中忠实度是RAG系统最特别的考核项——答案好不好，不能脱离“依据”孤立地看。

评估通常两条腿走路：客观指标自动算，主观质量靠人评。客观指标里，BLEU、ROUGE通过比对生成答案与参考答案的字面重叠衡量相似度；但开放生成场景下，字面重叠不等于语义正确。所以业界更强调“事实性指标”和人工评估：检查答案中的每条断言，能否在检索到的文档里找到出处。

查准率和查全率构成F1分数，可以衡量答案对标准答案的“覆盖程度”与“精确程度”。在RAG评估中，把答案切分成若干信息点，与标准答案比对：模型答中了多少（查全率），答出的信息里有多少是对的（查准率），两者综合成一个分数。

学霸每次模考后都要复盘错题；评估也是系统优化的起点。跑一轮全量测试、统计各维度得分、定位是检索没找到好材料、还是生成时没用好材料，再针对性调参。这套“考—评—改”循环，让RAG系统在一次次的迭代中越答越好。

AI 应用场景

Python 演示

import mathimport refrom collections import Counter class SimpleRAG:    def __init__(self, docs):        self.docs = docs        self.vocab = self._build_vocab(docs)        self.tfidf = [self._tfidf(d) for d in docs]     def _build_vocab(self, docs):        vocab = set()        for d in docs:            vocab.update(self._tokenize(d))        return sorted(vocab)     def _tokenize(self, text):        return re.findall(r'[\u4e00-\u9fa5a-zA-Z]+', text.lower())     def _tfidf(self, text):        tokens = self._tokenize(text)        cnt = Counter(tokens)        vec = []        for w in self.vocab:            tf = cnt.get(w, 0) / max(len(tokens), 1)            df = sum(1 for d in self.docs if w in self._tokenize(d))            idf = math.log(len(self.docs) / (1 + df))            vec.append(tf * idf)        return vec     def _cosine(self, a, b):        dot = sum(x * y for x, y in zip(a, b))        na = math.sqrt(sum(x * x for x in a))        nb = math.sqrt(sum(y * y for y in b))        return dot / (na * nb + 1e-9)     def retrieve(self, query, k=2):        qvec = self._tfidf(query)        scores = [(i, self._cosine(qvec, v)) for i, v in enumerate(self.tfidf)]        scores.sort(key=lambda x: -x[1])        return [(self.docs[i], s) for i, s in scores[:k]]     def generate(self, query, k=2):        hits = self.retrieve(query, k)        if not hits:            return "抱歉，知识库中没有相关内容。"        context = "\n".join(doc for doc, _ in hits)        answer = f"根据知识库，回答「{query}」：\n{context[:120]}"        return answer if __name__ == "__main__":    docs = [        "生成式问答系统基于大语言模型生成自然语言答案",        "RAG检索增强生成在回答前先从知识库检索相关文档",        "幻觉是指模型生成了知识库中不存在的内容",        "提示词工程通过设计上下文引导模型输出",    ]    rag = SimpleRAG(docs)    q = "什么是RAG？"    print(rag.generate(q))

1. self.tfidf = [self._tfidf(d) for d in docs]离线阶段：把每个文档转成TF-IDF向量，构建可检索的知识库索引。
2. def _cosine(self, a, b):实现余弦相似度，返回两个向量的方向接近程度。
3. scores = [(i, self._cosine(qvec, v)) for i, v in enumerate(self.tfidf)]在线阶段：把用户问题向量与所有文档向量逐对算相似度。
4. scores.sort(key=lambda x: -x[1])按相似度降序排列，选出最相关的文档排在前面。
5. return [(self.docs[i], s) for i, s in scores[:k]]返回TopK个文档，这就是RAG中的“检索”输出。
6. context = "\n".join(doc for doc, _ in hits)把检索结果拼成一段上下文，准备注入提示词。
7. f"根据知识库，回答「{query}」：\n{context[:120]}"模板生成最终答案，实际生产中用大模型替代这里的模板拼接。

常见误区

面试题