想象你走进一家名为“统一餐厅”的传奇餐馆。这里没有固定菜单，只在每张桌上放一张白纸，你写下任何想吃的东西——可以写“把这份法语菜单翻译成中文”（翻译任务），可以写“把这篇三千字新闻浓缩成三行摘要”（摘要任务），甚至可以写“判断这条点评是好评还是差评”（分类任务）。主厨接过订单，走进厨房，用同一套锅碗瓢盆、同一条流水线，端出一盘热气腾腾的“文字答案”。这家餐厅的秘诀只有一句话：把所有需求都看成同一件事——读一段文字，写一段文字。 这就是 Google 于 2019 年提出的 T5（Text-to-Text Transfer Transformer）的核心哲学。在 T5 之前，翻译、摘要、分类各有各的专属模型和输入输出格式，像一群各立门户的厨师。T5 却宣告：无论什么 NLP 任务，统统塞进“文本进、文本出”的统一管道，只需要在原始文本前贴上一句话作为“任务标签”（prefix），模型就会像那位主厨一样，把“标签+原文”转化为“目标答案”。这个看似简单的改变，深刻影响了后来的指令微调与通用语言模型浪潮。今天，我们就跟着这家统一餐厅的创业故事，看懂 T5 如何用「Text-to-Text」统一范式改写 NLP 的世界。

岗位关联

理解 T5 的统一范式，是理解“一个模型搞定所有任务”这一现代通用模型思想的历史起点，也是你在技术选型时判断“该不该用统一生成式框架”的底层依据。

目录
  1. 可视化演示
  2. 异构任务之困
  3. 统一哲学
  4. 模型架构
  5. 预训练策略
  6. 下游适配
  7. 范式影响
  8. AI 应用场景
  9. Python 演示
  10. 常见误区
  11. 面试题

可视化演示

展示T5将翻译/摘要/问答/分类统一为文本到文本格式、Encoder-Decoder架构的交叉注意力机制、以及与BERT/GPT三种预训练范式的对比。

本节配有交互动效（进入视口后自动加载，约 3KB）。

统一Text-to-Text框架 翻译/摘要/问答/分类均转为文本输入→文本输出 任务前缀(tr:/sm:/qa:/cl:)区分不同任务 Task = Prefix + Input → T5 → Output 单一模型统一处理所有NLP任务

异构任务之困

在“统一餐厅”开业之前，NLP 世界像一家将就的老餐馆：翻译任务雇专门的“翻译厨师”，摘要任务雇“摘要厨师”，情感分类则请了一位“打分员”。每位师傅只做自己的菜，上岗标准还截然不同——分类任务走“提取式”流程，把句子的第一个 token 当作代表，接一个分类头拼命打分；翻译任务走“生成式”流程，把句子编码后一个字一个字往外吐；序列标注任务又得在每个单词位置上做预测。模型结构各异、代码库各立门户，换一个任务几乎等于换一套系统。

这种“各自为政”的局面带来三重痛苦。第一是重复建设：每接一个新任务，就要重新设计输入输出接口、损失函数和推理逻辑。第二是难以迁移：不同任务的模型之间无法共享学到的知识，换个场景就得重新标注数据、重新训练。第三是部署笨重：一个要发布 NLP 功能的产品，背后可能要同时跑三五个不同类型的模型，运维成本居高不下。

研究者们开始追问：能不能造出一家“全能的统一餐厅”——一个模型、一套流程，什么任务都能接？这正是 T5 诞生的起点。T5 团队观察到，尽管底层任务五花八门，但它们本质上都是“读懂一段信息，产出另一段信息”。如果强行收敛到同一个输入输出格式，那么模型架构、训练目标、推理方式都可以彻底复用。这个观察看似朴素，却需要极大的魄力去实践——因为要把所有任务都塞进一个框里，意味着必须放弃为每个任务精心设计的“专属定制”。

就像那家老餐馆的师傅们各有绝活却无法互通，NLP 社区迫切需要一位能跨越菜系边界的“全能主厨”。而 T5 的出现，正是这位主厨接过菜单的时刻。

统一哲学

统一餐厅的点餐哲学听起来无比简单：不管你想做什么，都在纸上写一句话，然后交给主厨。这句话的前半段是“任务指令”，后半段是“待处理内容”。想翻译，就写“翻译成中文：Hello world”；想摘要，就写“摘要：这是一篇很长的新闻……”；想分类，就写“情感分类：这部电影真棒”。主厨的回应也始终只有一种形式——一段文字。

T5 把这种哲学称为 Text-to-Text（文本到文本）：所有任务的输入都被拼装成一个统一的文本序列，所有任务的输出都被要求写成一个文本序列。形式上，就是这样一个简单的“配方”：

这个配方的价值在于格式彻底归一：无论什么任务，输入、输出、损失函数、推理逻辑完全一致，差异只是在输入字符串上多了一句前缀。于是，一个模型可以同时学习多个任务——只要它学会看前缀就知道该做什么。T5 论文进一步指出，将分类任务表达为文本生成，还天然避免了“类别数量变化就要改模型结构”的窘境。新增一个类别，只是多一种可能的输出文本而已。

主厨不需要学三套做菜流程，只需要学会“读懂订单，把输入变输出”这一件事。剩下只是订单上的字怎么读、食材怎么处理的问题——这就是统一哲学的威力。

input=prefixtask+xraw,output=ytarget\displaystyle \text{input} = \text{prefix}_{\text{task}} + x_{\text{raw}}, \qquad \text{output} = y_{\text{target}}
这条式子说的是：把“任务前缀”和“原始文本”拼在一起作为输入，训练模型输出“目标文本”。翻译、摘要、分类，本质都是同一道菜。
  1. 任务前缀一段提前写好的指令文本，告诉模型“我要做什么”，比如“翻译成中文”或“摘要”。
    prefixtask\displaystyle \text{prefix}_{\text{task}}
  2. 原始文本拼接把任务前缀与待处理的原始文本按顺序拼接成一个长字符串，作为模型唯一输入。
    prefixtask+xraw\displaystyle \text{prefix}_{\text{task}} + x_{\text{raw}}
  3. 目标文本模型需要生成的目标答案，一律采用文本形态。分类也输出“正面/负面/中性”这样的词，而不是离散标签。
    ytarget\displaystyle y_{\text{target}}

模型架构

即便有了统一格式，厨房里也要有精密的流水线。T5 的厨房由两大工位组成：配菜员（Encoder，编码器）和主厨（Decoder，解码器）。配菜员负责通读整张订单，理解每个字词在上下文中的含义；主厨则坐在窗口，一个字一个字地把答案“做出来”。两者各司其职，缺一不可。

T5 选择了经典的 Encoder-Decoder 架构，底座是 Transformer。与只做编码的 BERT 和只做解码的 GPT 都不同，T5 保留了两者的组合：编码器使用双向注意力（每个词能同时看到左右两侧的上下文，像配菜员把订单从头到尾扫一遍），解码器则使用自回归生成（每生成一个字，都要回看已经生成的词，像主厨按顺序出锅）。给定输入文本 $x$，模型逐字生成输出 $y$ 的概率可以写成：

这种“读全部、写逐个”的组合，让 T5 既拥有编码器的深度理解，又拥有解码器的灵活生成，是文本到文本统一框架的硬件基础。相比用于理解任务的 BERT 和用于续写的 GPT，T5 的设计更接近“全能选手”——既能理解，又能生成。

配菜员把订单整体关系看成一盘棋的全局局势，主厨则按顺序把每一步端上桌。两道工序合作，才保证了无论什么订单都能稳定出菜。

p(y∣x)=∏t=1Tp(yt  ∣  y<t, x)\displaystyle p(y|x) = \prod_{t=1}^{T} p(y_t \;|\; y_{<t},\, x)
整个输出文本的生成概率，等于每一步“在已见前文和原始输入条件下，猜中下一个词”的概率连乘。这正是自回归生成的数学肖像。
  1. 输出逐词展开把输出序列 $y = (y_1, y_2, \ldots, y_T)$ 拆成 $T$ 个词，逐个生成。
    y=(y1,y2,…,yT)\displaystyle y = (y_1, y_2, \ldots, y_T)
  2. 条件概率每一步生成时，模型参考原始输入 $x$ 和已经生成的前 $t-1$ 个词记作 $y_{<t}$。
    p(yt  ∣  y<t, x)\displaystyle p(y_t \;|\; y_{<t},\, x)
  3. 概率连乘整个序列的概率就是每一步概率的乘积——每生成一个词都依赖之前的结果，一环扣一环。
    ∏t=1Tp(yt  ∣  y<t, x)\displaystyle \prod_{t=1}^{T} p(y_t \;|\; y_{<t},\, x)

预训练策略

统一餐厅的主厨是如何练就这么大本事的？答案是一场严酷的“试菜训练”。训练材料是海量的纯文本——不需要人工标注，只要互联网上无穷无尽的自然语言段落。主厨的训练方式叫做跨度损坏（Span Corruption），可以理解为一场“填空猜谜”游戏：把一段话随机挖掉一些连续的片段，盖上编号“填空卡”，然后让主厨根据上下文，把被挖掉的片段原样补写出来。

具体操作是：给定一段文本，T5 先随机选定若干位置，将每个位置处的一段连续 token（默认约 3 个）替换成一个特殊的哨兵标记 <extra_id_i>，然后把“满是填空卡的文本”作为输入，把“每张卡对应的真实片段”作为目标输出。训练目标与生成时的目标函数完全同构：

跨度损坏远比传统的“整词掩码”更考验模型：它要求模型不仅能推断个别词，还能补出一整段连贯语义。T5 论文专门对比了多种掩码策略，发现跨度损坏在文本到文本框架下综合表现最优。哨兵 token 的设计也让模型学会了“先定位、再恢复”的能力——这恰恰是诸多生成任务的核心技能。

主厨每天在“蒙眼猜菜”中练习——给他一道只剩配料的菜，他得凭经验说出主料是什么。这种训练让他对食材（语言）的理解深入骨髓，也让后来的“接单”能力水到渠成。

Lspan=−∑i=1nlog⁡p(si  ∣  x~)\displaystyle \mathcal{L}_{\text{span}} = -\sum_{i=1}^{n} \log p(s_i \;|\; \tilde{x})
这里 $\tilde{x}$ 是挖空后的文本，$s_i$ 是第 $i$ 个被挖掉的片段。整个训练目标就是让每个被挖掉片段的预测概率尽可能大。
  1. 挖空后的输入$\tilde{x}$ 表示完成跨度掩码（把随机片段替换成哨兵 token）之后的输入序列。
    x~\displaystyle \tilde{x}
  2. 每个挖空片段$s_i$ 是第 $i$ 个片段对应的原始 token 序列，模型要凭借上下文给出它。
    si\displaystyle s_i
  3. 负对数似然累加对每个片段求负对数概率并求和，作为整体损失——预测得越准，损失越小，这正是“猜得越准越开心”。
    −∑i=1nlog⁡p(si  ∣  x~)\displaystyle -\sum_{i=1}^{n} \log p(s_i \;|\; \tilde{x})

下游适配

客人点了新菜，主厨怎么办？统一餐厅的策略是：基本功已经练成，新菜只需短期“跟单培训”。在 T5 的世界里，这个“跟单培训”就是微调（Fine-tuning）：在预训练好的模型基础上，用某个下游任务的少量标注数据，继续做几步梯度更新。

微调的输入输出格式与预训练完全一致——依然是“任务前缀 + 原始文本 → 目标文本”。因此，一个已经学会“填坑”的模型，只需要在翻译、摘要、分类等下游任务数据上分别精调少量步数，就能派上用场。更妙的是，多个下游任务的微调可以共享同一份模型参数，“一个模型服务多种任务”由此成为现实。微调阶段的优化目标写作：

这一设计带来两个直接红利。其一是零样本潜力：面对从未见过的任务前缀，模型也能凭语言理解能力给出可用答案。其二是指令遵循的雏形：模型开始学会“听前缀办事”，这正是后来指令微调（Instruction Tuning）思想的种子。后来的 Flan-T5、InstructGPT 等模型，本质上都是沿着这条路继续走深。

主厨不必为每道新菜重新学厨艺，只要看几遍新菜谱、练几次手，就能稳定出品。这份“举一反三”的能力，让餐厅的菜单可以无限扩张。

Lft=−∑t=1Tlog⁡pθ(yt  ∣  y<t, prefixtask+x)\displaystyle \mathcal{L}_{\text{ft}} = -\sum_{t=1}^{T} \log p_{\theta}(y_t \;|\; y_{<t},\, \text{prefix}_{\text{task}} + x)
微调就是在“任务前缀 + 原始文本”的条件下，最大化标准答案的生成概率。参数 $\theta$ 在预训练基础上做小幅更新。
  1. 复用预训练参数模型参数 $\theta$ 的初值来自预训练阶段，微调只是在小幅调整它。
    θ\displaystyle \theta
  2. 拼接前缀与原文输入端的构成是“前缀 + 原始文本”，与预训练格式同构，保证无缝衔接。
    prefixtask+x\displaystyle \text{prefix}_{\text{task}} + x
  3. 最大化目标序列概率使用负对数似然损失，让参考答案的生成概率最大——损失越小越好。
    −∑t=1Tlog⁡pθ(yt  ∣  y<t, prefixtask+x)\displaystyle -\sum_{t=1}^{T} \log p_{\theta}(y_t \;|\; y_{<t},\, \text{prefix}_{\text{task}} + x)

范式影响

统一餐厅的成功，开始改变整个餐饮业。T5 的“统一”哲学面世后，影响力迅速溢出到整个 NLP 社区。它的任务前缀设计直接启发了指令微调研究——Flan-T5、InstructGPT 等模型正是沿着“让模型听指令”的道路走得更远；它对“单模型多任务”的强调，也让社区开始拥抱“大而全”的通用语言模型趋势，而不是继续堆叠任务专属模型。

从工程部署的角度看，T5 范式带来了切实的简化：一个模型、一套推理接口，就能承载翻译、摘要、改写、问答等多种能力，大幅减少同时部署多个模型的运维成本。这种“一厨多菜”的理念，为后来 ChatGPT 等对话式通用助手铺平了道路——它们的底层逻辑，本质上依然是“任何问题都转化为文本，模型生成文本回答”。

当然，T5 并非终点。它对前缀的依赖、对微调的强需求，在后来逐渐被更强的指令跟随和人类反馈优化所取代。但作为第一个把“统一文本到文本”做到极致的预训练范式，T5 的名字已经被写进大模型发展的里程碑。

当年那家老餐馆的“各管各”模式，如今正被“统一餐厅”模式全面取代。而 T5，正是这家改变行业规则的传奇餐厅。

AI 应用场景

智能客服统一应答

阶段：模型微调与部署

解决的问题：传统客服系统包含意图识别（分类）、知识库问答（抽取）、话术生成（生成）等多个子系统，需要分别维护多个模型和推理服务，任何一个模块升级都可能牵动全局。

具体案例：某电商平台将用户请求统一为三种带前缀的输入——“意图识别：你问的是退款吗”、“问答：退款流程是什么”、“改写：将这句话改得更礼貌”，交给同一个 T5 微调模型处理。一套推理服务解决了三类问题，运维成本下降约六成，新增一种任务只需要多标一份数据、多一次微调，而不必重新搭系统。

新闻内容平台多任务处理

阶段：多任务微调适配

解决的问题：新闻平台需要对每篇文章同时做摘要、情感分析和标签分类，传统方案是三个模型串联跑，延迟高、维护难，且三个模型各自训练无法共享语义知识。

具体案例：内容团队使用统一 text-to-text 框架微调一个模型：输入“摘要：<正文>”输出三行核心摘要；输入“情感：<正文>”输出正面/负面/中性；输入“分类：<正文>”输出栏目标签。一个模型覆盖全部文本预处理管线，推理延迟显著下降，新栏目上线时只需补充少量带前缀的标注数据。

Python 演示

python70 行
"""T5 统一文本到文本范式演示：任务统一 + 跨度损坏预训练数据构造"""import random  class SpanCorruption:    """构造 T5 预训练样本：随机掩码连续片段并生成哨兵标记"""     def __init__(self, noise_span_len=3, noise_density=0.15):        self.noise_span_len = noise_span_len        self.noise_density = noise_density     def build_pretrain_pair(self, text):        tokens = text.split()        n = len(tokens)        num_noise = max(int(n * self.noise_density), 1)        mask_ids = sorted(random.sample(range(n), min(num_noise, n)))        mask_set = set(mask_ids)         src_parts, tgt_parts = [], []        sentinel = 0        i = 0        while i < n:            if i not in mask_set:                src_parts.append(tokens[i])                i += 1                continue            span = [tokens[i]]            j = i + 1            while j < n and j in mask_set and len(span) < self.noise_span_len:                span.append(tokens[j])                j += 1            s = "<extra_id_%d>" % sentinel            sentinel += 1            src_parts.append(s)            tgt_parts.append("%s %s" % (s, " ".join(span)))            i = j         src = " ".join(src_parts)        tgt = " ".join(tgt_parts) + " <extra_id_%d>" % sentinel        return src, tgt  def unified_inference(prefix, text):    """演示 T5 统一框架：不同任务共用同一个 文本到文本 接口"""    print("  前缀: %s" % prefix)    print("  原文: %s" % text)    pair = {        "翻译成中文": "你好，世界！",        "生成摘要": "本文介绍了 AI 的最新进展。",        "情感分类": "正面"    }    result = pair.get(prefix, "未知任务")    print("  输出: %s" % result)    print()  if __name__ == "__main__":    random.seed(42)     print("== 统一文本到文本接口 ==")    unified_inference("翻译成中文", "Hello world!")    unified_inference("生成摘要", "（一篇三千字的新闻长文……）")    unified_inference("情感分类", "这部电影太精彩了")     print("== 跨度损坏预训练样本 ==")    sc = SpanCorruption()    src, tgt = sc.build_pretrain_pair(        "The quick brown fox jumps over the lazy dog near the river bank")    print("输入: %s" % src)    print("目标: %s" % tgt)
目的：演示 T5 的两大核心概念——任意任务都统一为“任务前缀 + 原文 → 目标文本”的接口；预训练阶段用跨度损坏（随机掩码连续片段加哨兵 token）构造训练样本。
  1. def __init__(self, noise_span_len=3, noise_density=0.15)初始化跨度损坏的参数：片段长度和噪声密度，对应 T5 论文中的默认配置。
  2. num_noise = max(int(n * self.noise_density), 1)根据文本长度和噪声密度计算要挖掉的片段数量，至少挖一个片段。
  3. mask_ids = sorted(random.sample(range(n), min(num_noise, n)))随机选择片段起始位置并排序，保证从左到右处理。
  4. while i < n:主循环遍历所有 token，遇到掩码位置就进入“扩展片段”逻辑。
  5. s = "<extra_id_%d>" % sentinel生成哨兵 token，如 <extra_id_0>，它是 T5 定位被挖掉片段的锚点。
  6. tgt_parts.append("%s %s" % (s, " ".join(span)))目标端以哨兵开头拼接真实片段，供模型学习“看到哨兵就补写此处内容”。
  7. def unified_inference(prefix, text)演示统一推理接口：不同任务输入不同前缀，但都走“文本进、文本出”这一条管道。

常见误区

误区T5 的架构还是 Encoder-Decoder 那一套，和之前的 Transformer 模型没什么区别，不值得特别学习。

正解T5 的创新不在模型架构本身，而在于“统一范式”——它把翻译、摘要、分类等形态各异的任务全部收敛为文本到文本的生成格式。这种格式归一带来的不是某一任务的精度提升，而是工程效率、迁移能力和多任务协同的质变。它让“一个模型 + 微调适配所有任务”成为现实，也为后续指令微调提供了直接范本。

为何常见：人们容易把新工作与旧框架对比，看到架构相似就忽略范式层级的创新，错过了 T5 真正想要解决的问题。

误区任务前缀就是给模型看的一句提示语，模型主要靠原文理解任务，前缀去掉影响不大。

正解任务前缀是决定模型行为的关键信号。T5 在预训练和微调阶段都依赖前缀来区分不同任务，模型通过前缀才明确当前激活哪条能力路径。同一个模型，输入“翻译成中文：Hello world”和“情感分类：Hello world”，会给出截然不同的输出——前缀的语义约束力远超“提示”二字所表达的分量。

为何常见：从使用者视角看，前缀像是一句随意的开场白，容易低估它在训练和推理中作为“任务身份标识”的硬性作用。

误区T5 的跨度损坏和 BERT 的 [MASK] 都是挖空猜词，换了个名字而已。

正解二者机制和粒度差别显著。BERT 掩码单位是单个 token，预测目标是单个词，本质是理解任务的辅助任务；跨度损坏掩盖的是连续多个 token 的片段，用哨兵 token 标记位置，并要求模型恢复整段被挖掉的连续语义。它更强调语义连续重建，与 T5 的生成式框架天然匹配。

为何常见：两者看起来都是“挖空填空”，表象相似就容易被归为一类，忽略了掩码粒度、目标形式和模型架构适配性的深层差异。

误区T5 既然统一了所有任务，那理论上什么任务都能直接做，根本不需要微调。

正解T5 的零样本能力非常有限，真正好用还需要在下游任务上微调。T5 的真正贡献是统一了微调的输入输出接口，让“一个模型 + 多次微调”成为可能，而非免微调。它的预训练目标是“补写文本”而非“完成任意指令”，二者之间存在明显差距，直到后来的指令微调才进一步弥合。

为何常见：听上去“统一”与“通用”天然相关，容易把框架层的优势夸大为能力层的优势，忽视了预训练目标和任务目标之间的差距。

面试题

Q1. T5 将各种 NLP 任务统一为什么形式？

单选题 · easy

  • A.文本到文本格式← 正确答案
  • B.分类到标签形式
  • C.序列到向量形式
  • D.图像到文本格式

答案：A。T5 的核心是把所有任务的输入和输出都表示为文本字符串，分类任务输出的是“正面/负面”这样的文本词，而非离散标签。因此正确选项是 A。

Q2. T5 如何区分不同的下游任务？

单选题 · easy

  • A.设置不同的网络层
  • B.加入任务前缀指令← 正确答案
  • C.设计不同损失函数
  • D.使用不同注意力头

答案：B。T5 通过在输入文本前拼接“任务前缀”（如“翻译成中文”“摘要”）告诉模型当前要做什么。不同前缀对应不同任务语义，模型据此调整生成行为。这与更换网络层或损失函数的传统做法截然不同。

Q3. T5 采用了哪种模型架构？

单选题 · mid

  • A.仅编码器架构
  • B.仅解码器架构
  • C.编码器解码器结合← 正确答案
  • D.扩散模型架构

答案：C。T5 采用经典 Transformer Encoder-Decoder 架构，编码器做双向理解，解码器做自回归生成，两者组合才适合文本到文本的统一生成任务。BERT 是仅编码器，GPT 是仅解码器，都不具备“理解 + 生成”的完整链路。

Q4. T5 预训练阶段采用的掩码策略是？

单选题 · mid

  • A.单 token 掩码
  • B.整词级掩码策略
  • C.跨度损坏策略← 正确答案
  • D.对抗扰动掩码

答案：C。T5 使用跨度损坏（Span Corruption），随机遮掩连续 token 片段并引入哨兵 token <extra_id_i>，让模型重建这些片段。它比单 token 掩码更强调语义连续性，与 T5 的生成式框架天然匹配，论文实验也证明其综合效果最佳。

Q5. 关于 T5 与其他模型的比较，正确的有？（多选）

多选题 · mid

  • A.BERT 只做理解难生成← 正确答案
  • B.GPT 是仅解码器架构← 正确答案
  • C.T5 既能理解又能生成← 正确答案
  • D.T5 不能做摘要任务

答案：ABC。BERT 是编码器架构，偏理解；GPT 是解码器架构，偏生成；T5 的 Encoder-Decoder 结构兼顾理解与生成，可用于翻译、摘要等任务。D 明显错误——摘要恰恰是 T5 的招牌能力之一。

Q6. T5 中 <extra_id_0> 这类 token 被称为？

单选题 · easy

  • A.特殊的分隔符
  • B.哨兵标记 token← 正确答案
  • C.词根形态标记
  • D.位置编码向量

答案：B。跨度损坏里哨兵 token 用来标记被挖掉片段的位置，训练时模型以哨兵开头输出对应的原始片段。它的作用是“定位 + 引导生成”，不是分隔符也不是位置编码。

Q7. 关于 T5 范式对行业趋势的影响，正确的有？（多选）

多选题 · hard

  • A.启发了指令微调研究← 正确答案
  • B.促成了单模型多任务← 正确答案
  • C.简化了下游部署成本← 正确答案
  • D.彻底替代了传统 BERT

答案：ABC。T5 的任务前缀设计启发了 Flan-T5、InstructGPT 等指令微调工作；统一框架推动“一个模型服务多种任务”成为主流，也降低了下游部署的模型数量。但“彻底替代 BERT”过于绝对，纯理解类任务中 BERT 仍被广泛使用。

Q8. T5 微调时，输入应如何构造？

单选题 · hard

  • A.只包含目标文本
  • B.任务前缀加原始文本← 正确答案
  • C.只包含原始文本
  • D.随机截断的文本

答案：B。T5 微调与预训练的输入格式保持一致：任务前缀 + 原始文本作为输入，目标文本作为输出。这样模型才知道当前要完成的任务是什么。只放目标文本或只放原文都会让模型丧失任务身份信息。

Q9. T5 的跨度损坏预训练目标本质上是什么任务？

单选题 · mid

  • A.一种掩码语言模型
  • B.文本到文本生成任务← 正确答案
  • C.一种二分类任务
  • D.一种序列排序任务

答案：B。跨度损坏把“片段恢复”建模为文本到文本的生成——输入是带哨兵的挖空文本，输出是片段序列。这与 BERT 的“预测单个词”不同，也正体现了 T5 统一范式的精髓：预训练本身就是一次文本到文本的转换。

Q10. 以下关于 T5 的说法，正确的有？（多选）

多选题 · hard

  • A.T5 的输出端统一为文本← 正确答案
  • B.各种任务共用一套参数← 正确答案
  • C.T5 认为任务前缀无作用
  • D.为通用语言模型奠定基础← 正确答案

答案：ABD。T5 让所有任务的输出都是文本字符串，不同任务的前缀微调共享同一份模型参数，其统一框架也为后来的通用语言模型铺路。C 恰好说反——前缀是 T5 区分任务的核心机制，作用举足轻重。