让AI做语文阅读理解：机器阅读理解MRC入门指南

可视化演示

展示机器阅读理解的核心流程：从文档阅读、问题理解、注意力匹配到答案抽取的完整过程，支持答案抽取与选择题两种模式切换。

任务定义：AI考生登场

设想一场特别的语文考试。考场里坐着一位AI考生，它面前摊着一张印满文字的试卷——一篇短文，旁边写着一个问题。它不能查字典、不能上网，只能凭借“读”和“理解”来作答。机器阅读理解要解决的，正是让AI完成这样一场考试的核心技术。

从工程视角看，MRC任务的形式化描述非常简洁：给定一段文章 P 和关于文章内容的问题 Q，模型需要输出答案 A。这里文章是“阅读材料”，问题是“题干”，答案是模型给出的“作答”。整个系统可以看作一个端到端的映射函数，θ 是模型从上万道“真题”中学习到的参数。

与其他NLP任务相比，MRC的特殊之处在于它强制模型“回到原文”找依据。回答问题不能凭空编造，必须在文章中找到支撑。这种机制让MRC成为检验模型语言理解能力的试金石：能否正确读题、能否定位信息、能否组织答案，环环相扣。

从“输入文章和问题”到“输出答案”，这个看似简单的箭头背后，藏着模型读懂文章、定位关键信息的全部本领。接下来，我们一步步拆解AI考生的备考过程。

数据资源：SQuAD真题库与评分标准

任何考生备考都离不开真题和评分标准。MRC领域最经典的“真题库”叫SQuAD（Stanford Question Answering Dataset）。它从维基百科精选了500多篇文章，由众包标注者人工编写了超过10万个问答对，每个问题的答案都必须是文章中的一段原文。

为什么要求“原文片段”？这保证了答案有据可查，也让自动评分成为可能。评判AI考生答得好不好，主流用两个指标：EM（精确匹配率）和F1（部分匹配得分）。EM像严格批改——答得一个字不差才给分；F1像宽容批改——答对一半词也能拿一半分。

EM的定义是所有测试问题中，模型预测答案与参考答案完全相同的比例。F1则引入精确率P和召回率R：P衡量预测答案中有多少词命中了参考答案，R衡量参考答案中有多少词被预测出来了，F1是两者的调和平均。实际评测时常将两者结合：EM反映“完全正确”的能力，F1反映“接近正确”的程度。

有了真题库和评分标准，AI考生就有了明确的学习目标。但同一道题可能有多种考法——有的要求从文中划线，有的要求四选一，这就引出了任务的不同形式。

任务形式：抽取式、生成式与选择题

语文试卷里，有的题要求“用原文回答”，有的要求“从四个选项中选出正确的一项”。MRC也分这样的题型。最常见的是抽取式：答案必须原封不动地从文章里“剪”出来；还有生成式：允许模型用自己的话组织答案；选择题则是从候选选项中挑出正确的。

抽取式任务被建模为一个“起止指针”问题：模型在文章每个词上计算它作为答案第一个词和最后一个词的概率，然后组合成一个连续片段。这种形式简洁、评估清晰，成为研究主流。

形式上，答案就是文章序列的一个连续子串。设文章有n个词，模型预测起始位置s和结束位置e（且满足 s ≤ e），答案就是 P[s:e]。这个简洁的设定让训练和推理都非常高效，也是BERT等预训练模型在SQuAD上取得突破的基础。

抽取式就像用荧光笔在原文划线，答案永远“有据可查”；生成式则更像考场上的自由发挥。搞清了题目类型，再看AI考生是怎么答题的——接下来进入模型的内部构造。

模型架构：输入到输出的三段式流水线

一个好考生拿到文章，并不会一个字一个字孤立地看，而是把每个词放在整段语境中去理解。比如“苹果”在“削苹果”和“苹果公司”里意思完全不同。模型要理解词义，也需要像人一样“联系上下文”，这正是编码器（Encoder）干的活。

以BERT为代表的预训练语言模型，输入经过三个核心环节：嵌入层（Embedding）把单词变成向量；编码器（Encoder）层层堆叠，让每个位置的向量融合全文信息；输出层把最终向量映射为预测结果。整体像一个标准化的“阅读流水线”。

嵌入层为每个token生成初始向量，包含词本身、所在句子、位置三类信息。编码器由多层Transformer构成，每层都包含自注意力与前馈网络，经过12层（BERT-base）甚至更多层的处理后，每个位置的输出向量已经携带了它与其他所有词的相互关系信息。这相当于AI考生把全文“通读”并“消化”了多遍。

嵌入层像“认字”，编码器像“精读”，输出层就是“提笔作答”。但整套流程里，最关键的“精读”环节靠的是一种叫注意力的机制——它是AI考生手中的荧光笔，也是我们下一节的主角。

注意力机制：划重点的荧光笔

做阅读题时，你手里有支荧光笔，读到和问题相关的句子就轻轻一划；划得越多的地方，越是你的答题依据。注意力机制（Attention）就是模型手里的荧光笔：它让模型在阅读每个问题词时，知道该把“目光”投向文章的哪些位置。

注意力通过三个向量实现：Query（问题侧）、Key（文章侧）、Value（文章侧的表征）。问题词的Query与文章每个词的Key做点积，得到相关性分数；分数经softmax归一化为权重；权重对Value加权求和，得到“带着问题视角”的上下文向量。权重越大，表示这个词对回答问题越重要。

数学上，第i个问题词对第j个文章词的注意力权重由softmax归一化得到。softmax的作用是把任意实数分数变成总和为1的正数权重：与问题高度相关的词获得大头权重，无关词权重趋近于零。在SQuAD的实验中，可视化注意力图通常可以观察到：权重明显集中在答案词及其邻近区域。更进阶的BiDAF等经典模型还引入双向注意力，让“问题→文章”和“文章→问题”两个方向相互参照，进一步强化定位能力。

有了荧光笔，AI考生能在浩瀚的文字里快速锁定线索。但划了重点还不够，它还得回答“从哪开始划、划到哪结束”——这就是答案预测环节的任务。

答案预测：起止位置圈定跨度

荧光笔划下了一串重点，但最终写在答题卡上的答案，必须是一个完整的句子片段。考生需要判断：重点里的第一个词是哪个？最后一个词是哪个？答案预测层做的就是这件“圈定起止”的事。

抽取式模型在编码器输出的每个位置向量后接两个分类头：起始分类器和结束分类器。起始分类器给每个位置打分，softmax后得到“该位置是答案第一个词的概率”；结束分类器同理给出“是答案最后一个词的概率”。推理时，模型在所有满足 s ≤ e 的跨度里找得分最高的组合。

设第i个位置的上下文向量为，起始分类器的权重向量为，则位置i是答案起始点的概率通过softmax得到。同理可以得到结束位置概率分布。联合起止的概率建模，让模型能端到端学习“哪个词开始、哪个词结束”。

起点和终点一确定，答案片段就被“圈”出来了。但AI考生如何知道自己圈得对不对？这就要靠训练环节不断反馈、纠错——像刷题后的订正过程。

训练优化：刷题、订正与调参

考生刷题后会对照标准答案订正，找出自己哪里理解偏了，下次改进。模型训练也是这么个闭环：在大量训练样本上做出预测，和参考答案对比算“损失”（差了多少），再把损失通过反向传播反馈给模型参数，让模型下一次更接近标准答案。

抽取式MRC的损失函数通常采用交叉熵（Cross Entropy）。因为答案包含起止两个位置，总损失就是起始位置损失与结束位置损失之和。对训练样本来说，模型如果给正确答案起止位置分配的概率越高，损失就越小。

训练时用一个样本（文章、问题、参考答案起止位置）计算损失。负对数形式意味着：若模型给正确位置的概率接近1，损失接近0；若概率很小，损失就很大，从而驱动参数大幅更新。训练中还常用学习率预热、梯度裁剪、早停等技巧稳定训练，并在验证集上调整超参数防止过拟合。

经过成千上万道题的训练纠错，AI考生已经胸有成竹。但真到“考场上线”时，还得考虑速度、长度、异常情况——这就是工程实践的智慧。

工程实践：从考场到生产线

毕业多年的“前考生”走上工作岗位，发现真实世界的阅读题和考卷差别很大：文章可能是一整本书那么长，用户可能问一个文章里根本没有答案的问题，系统还得在几百毫秒内给出回复。工程实践要解决的就是这些“考场之外”的问题。

实际部署一个MRC问答系统，常见挑战有三：一是长文处理，文章超过模型最大长度（如512 token）时需要截断或滑窗切片；二是推理加速，生产中常用知识蒸馏（用大模型教小模型）和量化（降低数值精度）压缩模型；三是答案兜底，模型预测置信度过低时，应回复“无法回答”，而不是硬给一个错误答案。

推理时，模型先计算每个位置作为起点与终点的概率，再在满足 s ≤ e 的约束下，寻找得分最高的跨度。通常还会加上最大长度限制（如答案不超过30个词），最终输出得分最高的合法跨度。得分定义为起点概率乘以终点概率，既保证概率高，又保证起止位置合理。

从考卷上的第一遍阅读，到真实世界里的毫秒级应答，AI考生终于完成了从入门到实战的蜕变。理解了这八步，你就掌握了机器阅读理解的核心地图。

AI 应用场景

Python 演示

import re  def tokenize(text):    """    Convert text into term tokens.    English words are kept as whole words;    Chinese text is split into bigrams.    """    pieces = re.findall(r'[a-zA-Z0-9]+|[\u4e00-\u9fff]+', text.lower())    tokens = []    for piece in pieces:        if re.match(r'[a-zA-Z0-9]+', piece):            tokens.append(piece)        else:            if len(piece) == 1:                tokens.append(piece)            else:                for i in range(len(piece) - 1):                    tokens.append(piece[i:i + 2])    return tokens  def simple_mrc(passage, question):    """    A minimal extractive MRC prototype.    It splits the passage into sentences and returns    the sentence most overlapping with the question terms.    """    q_terms = set(tokenize(question))    sentences = re.split(r'[。！？；\n]', passage)    sentences = [s.strip() for s in sentences if s.strip()]    best_sent = ''    best_score = -1.0    for sent in sentences:        s_terms = set(tokenize(sent))        if not s_terms:            continue        overlap = len(s_terms & q_terms)        score = overlap / (len(s_terms) + 1)        if score > best_score:            best_score = score            best_sent = sent    return best_sent, round(best_score, 3)  if __name__ == '__main__':    article = (        '机器阅读理解是自然语言处理的核心任务之一。'        '它要求模型阅读一篇文章并回答相关问题。'        '注意力机制是阅读理解模型的关键组件。'        '它帮助模型在长文本中定位与问题相关的关键信息。'    )    question = '注意力机制在阅读理解中的作用是什么？'    answer, score = simple_mrc(article, question)    print('问题:', question)    print('抽取的答案句:', answer)    print('匹配得分:', score)

1. pieces = re.findall(r'[a-zA-Z0-9]+|[\u4e00-\u9fff]+', text.lower())提取英文单词或连续中文字串，作为基础分词。
2. tokens.append(piece[i:i + 2])中文拆成双字组合（bigram），让“注意力”变成“注意”“意力”，更易匹配。
3. sentences = re.split(r'[。！？；\n]', passage)文章按标点切成候选句，对应抽取式的“候选跨度”。
4. overlap = len(s_terms & q_terms)用集合交集统计候选句与问题共现的词块，即“相关度”。
5. score = overlap / (len(s_terms) + 1)归一化得分，除以句子长度加一，防止长句天然占优。
6. best_sent = sent不断更新最高分句子，模拟模型“挑选最相关片段”的过程。

常见误区

面试题