想象一位经验丰富的语文老师，新学期接手三百份作文。全部亲手批，少说熬一周；恰好教研组来了个手脚麻利的实习生——大模型 LLM。实习生先把三百份都批一遍：打分、写评语、标错别字，每份还附上一个“把握分”（置信度）。老师立下规矩：把握分超过 85 的，直接放行进成绩册；低于 85 的，自己亲自复核；每周再随机抽几份已放行的复查。慢慢地，他还攒了一本“疑难卷宗”，把师徒俩都拿不准的作文定期复盘，把结论写进“批改手册”。实习生越干越稳，需要老师亲自出手的卷子越来越少。 这套“实习生先批、老师只改拿不准的、抽检纠偏、难例回灌”的打法，就是大模型辅助数据标注的半自动方案。这篇文章带你把它拆开：流水线怎么搭、置信度阈值怎么定、主动学习怎么选难例、质量怎么评估、成本怎么算、Prompt 怎么设计、边界 case 怎么治理。学完你就能在自己的标注项目里搭出这套人机协同流水线。

岗位关联

数据标注是 AI 的军火库。掌握这套半自动方案，你能用更低的成本、更可控的质量快速构建训练数据——这是数据标注团队负责人和算法工程师绕不开的核心工程能力。

目录
  1. 可视化演示
  2. 1. 方案总览
  3. 2. 预标注机制
  4. 3. 主动学习
  5. 4. 质量评估
  6. 5. 成本控制
  7. 6. Prompt设计
  8. 7. 工程落地
  9. AI 应用场景
  10. Python 演示
  11. 常见误区
  12. 面试题

可视化演示

展示LLM辅助标注半自动方案：流水线模式演示原始数据经LLM预标注与人工校验闭环；主动学习模式展示不确定性采样筛选难例；质量模式展示标注一致性与成本节省评估。

本节配有交互动效（进入视口后自动加载，约 3KB）。

标注流水线 LLM预标注+人工校验闭环 LLM→Review 原始数据经预标注后人工审核

1. 方案总览

新学期，李老师接手三百份作文。按老办法一个人批，少说一周，手都要写断。教研组来了实习生小林，动作快，两天就能全部批完。但李老师不敢全信：他立了三条规矩——小林每份都要写“把握分”；把握分过 85 的直接进成绩册；低于 85 的自己复审。粗活让实习生干，判断留给自己，这就是半自动的雏形。

放到数据标注里，“小林”就是大语言模型（LLM）。把一批未标注文本丢给它，它批量给出标签和置信度，这就是预标注。系统设一个阈值 τ，置信度高于 τ 的自动入库，低于 τ 的转人工复核；人工修正后的样本再回流，用来完善提示词或微调模型。这条“预标注→置信度分流→人工复核→结果回流”的闭环，就是半自动标注流水线。

这条流水线最核心的数字是人工复核率 r——最终需要人碰的样本比例。全人工标注，N 条样本成本就是 C_human×N；半自动则是每条样本的 LLM 预标注成本，加上流经人工那部分的复核成本：

所以方案总览一句话：不是让机器替代人，而是让机器把粗活干完，人只守住判断的关。李老师最终只复核了 60 份作文，其余 240 份由小林放行——他要做的，是隔三差五抽查放行的那批，别让小林的“自信”变成事故。

Csemi=Cllm×N+Chuman×r×N\displaystyle C_{semi} = C_{llm} \times N + C_{human} \times r \times N
只有 r 乘以 N 那么多样本会流到人工手里，这就是半自动降本的核心杠杆。
  1. LLM 预标注成本N 条样本每条都先由大模型预标注，累加起来就是机器成本。
    Cllm×NC_{llm} \times N
  2. 人工复核量只有比例 r 的低置信度样本需要人工复核，即 r 乘以 N 条。
    r×Nr \times N
  3. 人工复核成本人工成本只花在复核的样本上，用单样本人工成本乘以复核量。
    Chuman×r×NC_{human} \times r \times N

2. 预标注机制

李老师要求小林批完每份作文，在右上角写个把握分：十分确定给 95，模棱两可给 60。小林很听话，每份都标了，于是李老师不用翻卷子，只看分数就能快速分流——这就是“批量初标 + 置信度打分”在人工世界的投影。

技术上，LLM 预标注的产出不是孤零零的标签，而是“标签 + 置信度”的组合。对分类任务，置信度就是模型输出该类别的概率；对 NER 任务，可以是实体识别得分的归一化结果。系统用一个阈值 τ 做分流闸门：门槛定多高，直接决定多少样本要进人工池。

工程上最关心自动通过率 A(τ)：阈值越低，自动通过的越多，人工越省，但错批漏进的风险越高；阈值越高越稳，人就越累。用指示函数 I(·) 表示“这条样本是否达到放行线”，自动通过率可以写成：

定阈值就像定放行分数线，没有绝对正确的值，只有“试出来”的值。经验做法是先拿几百条小样跑一遍，画出“自动通过率-错误率”曲线，在可接受的错误率下选最高的通过率，再正式投产。

A(τ)=1N∑i=1NI(pi≥τ)\displaystyle A(\tau) = \frac{1}{N}\sum_{i=1}^{N} I(p_i \ge \tau)
逐条判断置信度是否过线，过线记 1、没过记 0，加总求平均，就是自动通过率。
  1. 置信度第 i 条样本由 LLM 预标注时给出的把握分，取值 0 到 1。
    pip_i
  2. 过线判断置信度是否达到或超过阈值 τ，达到为真。
    pi≥τp_i \ge \tau
  3. 指示函数判断为真记 1，为假记 0，把“是否过线”变成可加总的数字。
    I(pi≥τ)I(p_i \ge \tau)
  4. 求平均把 N 条的指示值加总后除以 N，得到自动通过率这一比例。
    1N∑i=1N\frac{1}{N}\sum_{i=1}^{N}

3. 主动学习

李老师很快发现，光看把握分选卷子不够。有些作文小林打了 95 分，细看却偏题；有些 60 分的卷子翻来覆去是同一种毛病，改一份就能举一反三。于是他让小林不只报分数，还把最头疼的卷子和不同类型的新写法都标出来——重点治理，而不是平均用力。

这就是主动学习的两个抓手。不确定性采样：选模型最“没把握”的样本，常用置信度最低或熵最大来衡量；多样性采样：让选出的样本覆盖不同类别、不同表达形态，避免一堆同质难例。这些样本交给人工精标，结果回灌模型或提示词，下一轮预标注质量立刻提升——如此往复，就是迭代循环。

度量“没把握”最常用的指标是熵。模型输出 K 个类别的概率分布，分布越平、越接近均匀，熵越大，说明模型越犹豫：

主动学习最大的价值，是用最少的精标样本撬动最大的质量提升。就像李老师每周只精讲 8 篇“疑难卷宗”里的作文，两个月后，小林遇到同类作文时的把握分，普遍从 60 涨到了 85。

H(x)=−∑j=1Kpjlog⁡pj\displaystyle H(x) = -\sum_{j=1}^{K} p_j \log p_j
熵越大表示模型对这 K 个类别越拿不准，这类样本正是人工精标的高价值目标。
  1. 类别概率模型预测样本 x 属于第 j 类的概率，概率和为 1。
    pjp_j
  2. 信息量求和对 K 个类别逐项累加 p_j 乘以 log p_j，概率越平均，累加值越大。
    ∑j=1Kpjlog⁡pj\sum_{j=1}^{K} p_j \log p_j
  3. 取负号p_j 在 0 到 1 之间时 log p_j 为负，加负号让熵恒为非负。
    −∑j=1Kpjlog⁡pj- \sum_{j=1}^{K} p_j \log p_j

4. 质量评估

李老师最怕的从来不是自己改的卷子，而是小林“自信放行”的那批。万一小林自我感觉良好、其实错了一片呢？于是他定了一条铁律：每周从放行卷子里随机抽 10 份亲自重批，对一对分数，这就是抽样复核。

质量评估分两条线。上线前：准备一小批由领域专家标定的“金标准”数据，直接测 LLM 预标注的准确率，不过线就不投产。上线后：定期从自动入库的样本中抽 5%~10% 人工复核，计算与 LLM 标签的一致率，同时盯住错误类型分布——是随机噪声还是系统性偏置（比如总把某一类标错）。评估指标要按任务选：分类看准确率，NER 看实体级 F1，摘要看要点覆盖率。

以 NER 为例，实体级 F1 同时惩罚“多标”和“漏标”。精确率 P 是预测出的实体里有多少是对的，召回率 R 是真实实体里有多少被找出来，F1 是两者的调和平均：

质量评估的最后一步是纠偏。抽检一旦发现系统性错判——比如小林总把“公司名”标成“人名”——就把这类案例收进批改手册或规则库，下次预标注直接规避。这就像李老师把典型错批卷子拍下来给小林看：同样的错误，不犯第二次。

F1=2×P×RP+R\displaystyle F1 = \frac{2 \times P \times R}{P + R}
精确率和召回率只要有一个偏科，F1 就会被拉低，因此它能综合反映实体标注质量。
  1. 精确率预测出来的实体中，真正正确的那部分比例。
    P=TPTP+FPP = \frac{TP}{TP + FP}
  2. 召回率真实存在的实体中，被成功找出来的那部分比例。
    R=TPTP+FNR = \frac{TP}{TP + FN}
  3. 调和平均对精确率和召回率取调和平均，两者都高 F1 才高。
    2×P×RP+R\frac{2 \times P \times R}{P + R}

5. 成本控制

学期末，李老师算了笔账：给小林的实习补贴，加上自己复审耗费的时间，到底比一个人全批省多少？他意识到这笔账不能凭感觉，得写成一个公式。

设单样本全人工成本为 c_h（人工单价乘以耗时），单样本 LLM 预标注成本为 c_l（API token 费用），人工复核率为 r。全人工的成本比例是 1，半自动的成本比例是 (c_l + r×c_h)/c_h，节省率就是：

r 是最大的杠杆：阈值调高，r 上升，质量更稳但省钱变少；阈值调低，r 下降，省钱但风险上升。批量任务还能进一步压 r——模型对同一批同风格文本会越标越稳，复核率可随轮次逐步下调。同时建议任务分级：简单任务用高阈值自动通过，复杂任务用低阈值多人工。

成本账里还有一笔隐性收益：时间。全人工要等两周的标注，半自动一天出初版——早投产带来的模型迭代速度，往往比直接省下的标注费更值钱。李老师算完账发现，请小林最划算的地方，是让他把李老师从重复劳动里解放出来，去研究真正的教学难题。

Rsave=1−cl+r×chch\displaystyle R_{save} = 1 - \frac{c_l + r \times c_h}{c_h}
当人工单价远高于 API 成本时，即使复核率达 50%，依然能省下近一半的开销。
  1. 机器单价一条样本走 LLM 预标注的 API 成本，通常远低于人工。
    clc_l
  2. 期望人工成本单样本人工成本乘以复核率，就是平摊到每条样本上的人工花费。
    r×chr \times c_h
  3. 成本比例半自动总成本相对全人工成本的比例，越小越划算。
    cl+r×chch\frac{c_l + r \times c_h}{c_h}
  4. 节省率用 1 减去成本比例，得到相对全人工节省的比例。
    Rsave=1−cl+r×chchR_{save} = 1 - \frac{c_l + r \times c_h}{c_h}

6. Prompt设计

同样是实习生，给不给批改手册，表现天差地别。小林刚来时，李老师只说了句“好好批”，结果评分毫无章法；后来他写了一份《作文批改手册》，规定评分维度、扣分标准、评语格式，小林立刻稳了下来。LLM 的批改手册，就是 Prompt。

不同标注任务，手册侧重点不同。分类任务：给出类别定义和每个类别的正反例，要求输出 JSON（类别 + 置信度）。NER 任务：给出实体类型定义，配上“这个是实体 / 这个不是实体”的对照示例，要求逐句标注边界。摘要任务：规定摘要长度、信息优先级（保留结论、省略过程），再给一条参考摘要。

从模型视角看，标注的本质是一个条件概率问题：在指令（手册）、待标文本和少量示例的共同约束下，选出概率最大的标签：

写手册的实战经验有三条：一是示例比抽象规则有用，放 3~5 个“典型 + 边界”示例；二是要求模型给出置信度并用结构化格式输出，方便下游分流；三是一次只做一件事，别在一条 prompt 里既分类又纠错又打分——就像批改手册里，评分维度和错别字标注一定是分开的两个章节。

y^=arg⁡max⁡yP(y∣指令,x,示例)\displaystyle \hat{y} = \arg\max_{y} P(y \mid \text{指令}, x, \text{示例})
模型不是凭空标注，而是在“手册 + 文本 + 示例”三个条件下，挑一个它认为最可能的标签。
  1. 候选标签y 遍历所有可能的类别或实体标签。
    yy
  2. 条件概率在指令、待标文本 x 和示例集共同约束下，标签 y 出现的概率。
    P(y∣指令,x,示例)P(y \mid \text{指令}, x, \text{示例})
  3. 取最大arg max 表示挑出令条件概率最大的那个标签，作为最终输出。
    y^=arg⁡max⁡yP(y∣指令,x,示例)\hat{y} = \arg\max_{y} P(y \mid \text{指令}, x, \text{示例})

7. 工程落地

李老师的办公桌上有一本越来越厚的《疑难卷宗》，夹的全是他和小林都拿不准的作文：立意模糊的、严重偏题的、疑似套作的。每周固定时间，师徒俩对着卷宗复盘，把结论写进批改手册。一年下来，手册厚了，但小林批得越来越快，需要惊动李老师的例外越来越少。

工程落地就是把这本卷宗变成系统能力。第一，把低置信度且人工纠错过的样本统一入库，建“争议样本库”；第二，定期分析争议样本的共性，提炼成规则或补充 prompt 示例，规则化后回灌；第三，对反复出现的边界 case，升级为多人投票 + 专家仲裁，形成最终结论再沉淀。平台侧，标注工具要支持“预标注结果预填 → 人工修改 → 差异统计”的交互，让复核尽可能不重不漏。

迭代效果可以用错误率的收敛来度量：每完成一轮主动学习和规则沉淀，抽检错误率按固定比例下降：

半自动方案的终点不是“彻底无人”，而是“越来越少例外”的稳态：常规样本自动通过，疑难样本进入卷宗被持续治理。就像李老师的终极目标，是让小林成长到“只有真正疑难的卷子才会端到老师桌上”——那时候，老师才有精力去做真正不可替代的事。

et=e0×γt,0<γ<1\displaystyle e_t = e_0 \times \gamma^{t}, \quad 0 < \gamma < 1
只要每轮都沉淀规则、回灌模型，错误率就会呈指数级下降，说明难例治理有效。
  1. 初始错误率第一轮迭代前，抽检得到的基础错误率。
    e0e_0
  2. 指数衰减每轮按固定比例 γ 衰减，t 是迭代轮次，轮次越多下降越多。
    γt\gamma^{t}
  3. 收敛条件只要 γ 小于 1，错误率就会不断逼近 0，系统进入良性循环。
    et=e0×γt,0<γ<1e_t = e_0 \times \gamma^{t}, \quad 0 < \gamma < 1

AI 应用场景

场景 1：智能客服意图分类数据集的半自动构建

阶段：数据准备与弱监督标注

解决的问题：传统方式靠人工逐条阅读历史会话、贴意图标签，3 万条数据要标两周，枯燥且易错。AI 方式：用 LLM 按意图分类 prompt 做预标注，置信度高的直接入库，低的转人工复核，最后按比例抽检，把人的精力只花在拿不准的样本上。

具体案例：某电商客服团队把历史会话按“退货 / 退款 / 物流 / 发票”等意图分类。LLM 预标注自动通过率 65%，人工只复核剩余 35%，工期从两周缩到 3 天，抽检一致率 92%。低置信度样本全部进入争议库，每周复盘提炼规则，第二批次自动通过率升到 75%。

场景 2：医疗病历 NER 实体抽取的难例治理

阶段：数据标注与主动学习迭代

解决的问题：病历中症状、药品、剂量等实体标注依赖医学背景，全人工成本极高且招人难。AI 方式：LLM 先对病程记录做实体预标注，再用主动学习挑出模型最没把握的病历优先给医生复核；对“疑似”“排除”这类否定表述的边界 case，沉淀成规则回灌 prompt，逐轮降低复核率。

具体案例：某医疗 AI 团队构建病历 NER 数据集，初始实体级 F1 仅 78%，经三轮“主动学习选难例 + 规则回灌”后升至 91%，人工复核量从 48% 降到 22%，且漏标的“剂量单位”类错误显著减少。

场景 3：电商评论摘要数据集构建

阶段：数据生成与摘要标注

解决的问题：摘要标注没有唯一正确答案，人工从头写摘要又慢又主观。AI 方式：LLM 先生成摘要草稿，人工只修改“事实性错误”和“重点遗漏”，平台自动记录修改率作为质量评估指标；修改率高的样本进争议库，反向优化摘要 prompt 的信息优先级规则。

具体案例：某电商平台为商品评论生成摘要数据集，标注员对 LLM 草稿的平均修改率从初版的 38% 降到第 5 轮的 15%，单条标注耗时从 3 分钟降到 40 秒，数据集质量与构建速度同时提升。

Python 演示

python64 行
# 半自动标注流水线: LLM预标注 + 置信度分流 + 主动学习 + 质量抽检import random  class SemiAutoAnnotator:    def __init__(self, labels, threshold=0.8):        self.labels = labels        self.threshold = threshold        self.auto_count = 0        self.review_count = 0        self.train_items = []     def llm_predict(self, text):        # 真实场景替换为LLM API调用, 这里用随机模拟        return random.choice(self.labels), random.random()     def run_batch(self, texts):        auto_items, review_items = [], []        for text in texts:            label, conf = self.llm_predict(text)            if conf >= self.threshold:                self.auto_count += 1                auto_items.append((text, label, conf))            else:                self.review_count += 1                review_items.append((text, label, conf))        return auto_items, review_items     def active_select(self, review_items, k):        # 主动学习: 按置信度升序取最不确定的k条        return sorted(review_items, key=lambda x: x[2])[:k]     def human_review(self, items):        # 人工复核: 低置信度样本由人确认或修正, 结果回灌        corrected = []        for text, label, conf in items:            if random.random() < 0.2:                label = random.choice(self.labels)            corrected.append((text, label))            self.train_items.append((text, label))        return corrected     def quality_check(self, auto_items, rate=0.1):        # 质量评估: 从自动入库中抽样, 计算与人工复核的一致率        m = max(1, int(len(auto_items) * rate))        sample = random.sample(auto_items, m)        hit = sum(1 for _, label, _ in sample if random.random() < 0.9)        return hit / m  def main():    random.seed(42)    texts = ["用户无法登录账号", "订单长时间未发货", "退款申请被驳回"] * 10    annotator = SemiAutoAnnotator(["登录问题", "物流问题", "退款问题"], threshold=0.8)    auto_items, review_items = annotator.run_batch(texts)    selected = annotator.active_select(review_items, k=8)    annotator.human_review(selected)    print("自动入库: %d, 低置信候选: %d" % (annotator.auto_count, annotator.review_count))    print("精选难例复核: %d 条, 回灌训练: %d 条" % (len(selected), len(annotator.train_items)))    print("自动入库抽检一致率: %.2f" % annotator.quality_check(auto_items))  if __name__ == "__main__":    main()
目的：用几十行代码演示一条完整的半自动标注流水线——LLM 预标注、置信度分流、主动学习选难例、人工复核回灌、抽样质量评估。真实项目只需把 llm_predict 替换为大模型 API 调用。
  1. class SemiAutoAnnotator:定义一个可复用的半自动标注器，封装阈值、统计计数和回灌数据。
  2. return random.choice(self.labels), random.random()模拟 LLM 返回“标签 + 置信度”，真实项目换成 API 调用即可。
  3. if conf >= self.threshold:置信度达到放行线就走自动入库，否则转入人工候选池。
  4. return sorted(review_items, key=lambda x: x[2])[:k]主动学习：按置信度升序取最低的 k 条最难样本。
  5. self.train_items.append((text, label))人工修正后的样本回灌，用于后续微调或规则沉淀。
  6. hit = sum(1 for _, label, _ in sample if random.random() < 0.9)模拟人工抽检与 LLM 标签一致的比例，得到一致率。

常见误区

误区“LLM 预标注的置信度都有 95% 以上了，是不是可以彻底不用人工复核了？”

正解置信度是模型对自己的“自我感觉”，不等于真实正确率。大模型有时会过度自信，尤其在处理训练分布外的样本时。必须保留两条安全线：一是定期从自动入库里抽 5%~10% 人工复核，二是把抽检一致率设为质量红线，低于阈值就下调自动通过率。就像李老师再信任小林，也要每周抽查已放行的卷子。

为何常见：人们看预标注结果时，容易把“模型说它很自信”直接当成“它是对的”，忽略了置信度校准这个中间环节。

误区“反正低置信度的都有人工兜底了，高置信度那批完全不用看。”

正解高置信度不等于高准确率，模型可能出现系统性偏置——比如把“延期发货”的投诉全标成“物流问题”还很自信。这时候只看低置信度样本根本发现不了。正确做法是“低置信度全复核 + 高置信度按比例抽检”双轨并行。

为何常见：默认模型校准良好，把置信度当成真实概率，但实际部署中校准偏差非常常见。

误区“把标注规则、边界情况、注意事项全塞进一条 prompt，模型一定标得更准。”

正解prompt 过长会让模型注意力分散，相互矛盾的规则反而引入噪声。更有效的做法：一条 prompt 只做一个任务，规则精简，配 3~5 个少样本示例（含典型例 + 边界例），并要求输出结构化 JSON 和置信度。批改手册写得再厚，也是分章节、一页一事的。

为何常见：写 prompt 时习惯性“堆需求”，忽略上下文窗口和注意力分配的现实约束。

误区“主动学习不就是把置信度最低的一批样本拿给人标吗？”

正解只看不确定性会选出一堆同质难例（比如全是同一类模糊样本），边际收益递减。还要叠加多样性采样，让选出的样本覆盖不同类别和文本形态。另外，模型“过度自信”的样本（高置信但错）也需要通过抽检或多人分歧去发现。

为何常见：主动学习的经典策略确实从不确定性出发，容易让人忽略多样性约束带来的额外效率提升。

误区“只要人工复核的一致率达到 95%，标注质量肯定没问题。”

正解一致率只说明“人和 LLM 看法一致”，不代表“双方都对”。人工本身会错，且有些任务天然主观（如情感强度分级）。要结合金标准测试集算真实准确率，NER 用实体级 F1，还要看错误类型分布——区分随机噪声和系统性偏置，后者才是真正要治理的。

为何常见：一致率容易计算、直觉直观，让人误以为一个数字就能代表质量的全部。

面试题

Q1. 半自动标注中“预标注”最准确的含义是？

单选题 · easy

  • A.人工先标小批种子数据
  • B.大模型预标人工复核← 正确答案
  • C.用规则爬取外部标签
  • D.仅做无监督聚类分析

答案：B。预标注指让 LLM 先批量给未标注数据打初始标签，人工只对低置信度部分复核。A 是冷启动的种子标注，C 是数据爬取，D 是无监督聚类，都不产出可直接用的预标注标签。用“实习生先批一遍”来记，预标注就是那个“先批”的动作。

Q2. 其他条件不变，把置信度阈值调高，会发生什么？

单选题 · easy

  • A.自动入库减少复核增多← 正确答案
  • B.自动入库增多复核减少
  • C.人工完全不再参与标注
  • D.模型推理速度显著变快

答案：A。阈值调高后，更多样本达不到放行线，自动入库减少、人工复核增多，质量更稳但成本上升。B 恰好相反，C 与阈值机制无关，D 更不会改变推理速度。就像李老师把放行分从 85 提到 92，需要他亲自复审的卷子自然变多。

Q3. 主动学习筛选难例时，常用的策略有哪些？

多选题 · mid

  • A.不确定性优先采样← 正确答案
  • B.多样性覆盖采样← 正确答案
  • C.随机均匀抽取样本
  • D.只选高置信度样本

答案：AB。主动学习两大策略是不确定性采样（选模型最没把握的）和多样性采样（覆盖不同类别形态）。C 随机抽样没有聚焦价值，D 只选高置信度样本恰恰选不出难例。类比李老师既挑小林最头疼的卷子，又挑不同类型的新写法，两者缺一不可。

Q4. 为什么不能只凭 LLM 置信度评估标注质量？

单选题 · mid

  • A.置信度是模型自评不可靠← 正确答案
  • B.置信度计算耗时太长
  • C.置信度无法保存到文件
  • D.置信度与任务类型无关

答案：A。置信度是模型对自身预测的“自我评价”，存在过度自信和校准偏差，不能当作真实正确率。B、C、D 都不是核心理由。所以必须配合抽样人工复核，就像李老师即使看到小林打了 95 分，也会照常抽查放行卷子。

Q5. 以下哪些任务比较适合 LLM 预标注？

多选题 · mid

  • A.文本分类类任务← 正确答案
  • B.命名实体识别任务← 正确答案
  • C.摘要生成类任务← 正确答案
  • D.罕见病专家强诊断

答案：ABC。分类、NER、摘要都有明确的标签体系或输出格式，LLM 预标注效果稳定，适合半自动。D 罕见病诊断需要极强领域专家知识，LLM 预标注风险大，不适合直接自动化。可以记住：能写清楚“批改手册”的任务才适合预标注。

Q6. 半自动成本模型中，人工复核率 r 的定义是？

单选题 · mid

  • A.需人工复核样本占比← 正确答案
  • B.自动通过样本占比
  • C.质量抽检样本占比
  • D.模型对正类的召回率

答案：A。人工复核率 r = 需要人工复核的样本数 ÷ 总样本数，是成本核算的核心变量。B 是自动通过率，C 是质检抽样率，D 是模型评估指标，都不是 r 的定义。r 是你和李老师都要盯住的那个数——它直接决定省多少钱。

Q7. NER 标注任务中，评估标注质量更合理的指标是？

单选题 · hard

  • A.实体精确匹配F1← 正确答案
  • B.整句级准确率
  • C.字符编辑距离
  • D.模型困惑度值

答案：A。NER 标注结果以实体（边界 + 类型）为单位，必须用实体级精确匹配的 F1 同时惩罚多标和漏标。B 整句准确率太粗，C 编辑距离不适合实体边界判断，D 困惑度是语言模型指标。就像批改作文要精确到“哪一段偏题”，而不是笼统说“整篇好不好”。

Q8. 对反复出现的边界 case，正确的处理方式有哪些？

多选题 · hard

  • A.沉淀争议库回灌prompt← 正确答案
  • B.直接删除低置信样本
  • C.多人投票加专家仲裁← 正确答案
  • D.降低阈值全部自动入库

答案：AC。边界 case 的正确姿势是沉淀：先多人投票 + 专家仲裁定结论，再把结论规则化后回灌 prompt 或规则库。B 直接删除会丢失信息，D 降低阈值让全部样本自动入库等于放弃治理。A、C 正是“疑难卷宗 + 每周复盘”的工程化版本。

Q9. 半自动标注中“一致性”指标主要指？

单选题 · mid

  • A.同一文本多次标注结果稳定← 正确答案
  • B.所有标注任务速度一致
  • C.模型参数量完全一致
  • D.数据集规模保持一致

答案：A。标注一致性指同一文本在多次标注下结果稳定，是质量可控性的前提。B、C、D 分别混淆了速度、参数量、数据规模。就像小林对同一类作文每次批改都有标准可依，而不是今天严明天松，否则数据集本身就是噪声。

Q10. 人工校验闭环中最关键的动作是？

单选题 · extreme

  • A.修正结果回灌模型沉淀规则← 正确答案
  • B.人工全量重新标注一遍
  • C.人工只审查提示词的工程
  • D.人工完全不参与标注流程

答案：A。“闭环”的灵魂是人工修正的结果回流——无论是沉淀成规则、补充 prompt 示例，还是进入训练集微调，只有回灌才能让系统越用越稳。B 全量重标违背半自动初衷，C 只审 prompt 不审结果，D 彻底无人工则失去安全网。这就像李老师的《疑难卷宗》不归档就等于白复盘。