想象你是一家快递分拣中心的负责人，每天有十万件包裹需要按地区分类。请专业档案员来分拣，准确但每小时要付 80 元；这时来了一群脑子聪明但偶尔粗心的临时工，每小时只要 8 元，速度快得像闪电，但偶尔会看错地址。你会怎么做？聪明的做法是：让临时工先干大部分活，拿不准的包裹挑出来交给专业档案员复核，再定期抽检临时工的作业质量。这就是「大模型当标注员」的本质——让 LLM 这台成本极低的“临时工机器”，替你完成大部分数据打标签的工作，再用一套精密的“质检流程”守住质量底线。本文会带你完整走一遍这条流水线：怎么写“工作说明书”、怎么让多个临时工投票、怎么判断谁拿不准、怎么抽检、怎么算账。

岗位关联

数据标注是 AI 项目的隐形地基。学会用大模型做自动标注，你就能用十分之一的预算获得可用性接近人工的数据集——这对预算有限的团队是实打实的工程杠杆。

目录
  1. 可视化演示
  2. 标注提示设计
  3. 多轮投票机制
  4. 置信度估计
  5. 人工复审流程
  6. 质量评估对齐
  7. 成本质量平衡
  8. AI 应用场景
  9. Python 演示
  10. 常见误区
  11. 面试题

可视化演示

动态演示让大模型当标注员的核心机制，通过采集/分析/决策/反馈四种模式展示关键概念与交互流程。

本节配有交互动效（进入视口后自动加载，约 3KB）。

让大模型当标注员：LLM作 LLM作为标注器的提示设计与角 多轮标注投票机制与一致性提升策 核心机制可视化 让大模型当标注员整体架构与关键组件

标注提示设计

临时工上班第一天，你塞给他一张纸条，上面写着：“把包裹分成华东和华南两类，华东包括上海、江苏、浙江……看清楚省份再动手，看不清就放一边。”这张纸条就是「工作说明书」。在 LLM 标注里，这份工作说明书叫「提示模板」（Prompt Template），它的质量直接决定临时工能不能一次干对。给 LLM 的提示，绝不是一句“帮我分类”就完事——类别定义含糊、示例缺失，就会让模型自由发挥。

一份合格的标注提示包含四层结构。第一层是「角色指令」：告诉模型“你是一名擅长文本分类的标注专家”，就像告诉临时工“你是分拣员不是快递员”。第二层是「类别定义」：把每个标签的含义写清楚，比如“积极：表达喜悦、感谢、满意”，这是整个说明书的核心骨架。第三层是「示例引导」：给 2-3 个已标注好的例子（few-shot），让模型模仿你期望的判断方式。第四层是「边界描述」：明确“如果不确定，返回 unknown 而不是瞎猜”。

不同模型对提示措辞的敏感度不同，大模型（如 GPT-4 级）对角色指令和类别定义的理解更稳，小模型则更依赖示例的数量和质量。实际工程中，建议先用 50-100 条样本做提示调优实验，对比不同提示版本的效果，再批量启动。提示设计的迭代成本远低于标注返工成本——就像花半小时把工作说明书改清楚，好过让一百个临时工各干各的。

Prompt=Role⊕Labels⊕Examples⊕Input\displaystyle \text{Prompt} = \text{Role} \oplus \text{Labels} \oplus \text{Examples} \oplus \text{Input}
公式表示提示由四部分拼接而成：角色指令、类别定义、示例引导、待标注输入。⊕ 是拼接的意思。
  1. 拼接符号⊕ 表示把四段文本按顺序连接成一个完整的提示词。
    ⊕\oplus
  2. 角色指令Role 是告诉 LLM 以什么身份和态度来执行标注任务。
    Role\text{Role}
  3. 类别定义Labels 是标签集合及其准确定义，决定模型输出哪些合法类别。
    Labels\text{Labels}
  4. 示例引导Examples 是少量已标注示例，为模型提供模仿范本。
    Examples\text{Examples}
  5. 待标输入Input 是真正要标注的那条数据文本。
    Input\text{Input}

多轮投票机制

单个临时工偶尔看走眼，怎么办？你让三个临时工背对背各自独立分拣同一批包裹，最后按少数服从多数定结果。这就是「多轮投票」：对同一条样本，让 LLM 独立标注 K 次（通常是温度参数调高，让输出有随机性），再汇总 K 个结果。单次标注可能受随机性干扰，但多数表决能显著提高稳定性——三个里至少两个对，结果大概率就对。

多轮标注的关键在于「独立」。如果 K 次标注在同一个上下文里连续生成，模型可能受自己上一个输出影响产生惯性；正确做法是每次调用都用全新的对话上下文，保证各轮互不干扰。投票汇总后，一类简单的统计方式是「多数表决」：哪个类别得票最多，就作为该样本的最终标签。得票 3:0 与 2:1 显然是不同的——前者全员一致，后者存在分歧，这个差异我们会留给下一节的置信度来度量。

投票轮数 K 的取值需要权衡：K=3 是性价比最高的起步配置，K=5 能进一步压制随机噪声但成本增加约 67%。实践中有个反直觉的经验：K 次投票的本质收益不是“越多人投越准”，而是“暴露分歧”。当模型对某条样本的判断摇摆不定时，投票结果会自然呈现 2:1 甚至更分散的模式——这些分歧样本，恰恰是下一节讲的置信度要重点盯防的对象。

y^=arg⁡max⁡c∈C∑k=1K1(yk=c)\displaystyle \hat{y} = \arg\max_{c \in \mathcal{C}} \sum_{k=1}^{K} \mathbb{1}(y_k = c)
公式含义：最终标签是得票最多的那个类别。\arg\max 表示“取使后面式子最大的类别 c”，\mathbb{1} 是指示函数（条件成立为 1，否则为 0）。
  1. 最终标签\hat{y} 是模型投票后得到的最终标注结果。
    y^\hat{y}
  2. 候选人集合c \in \mathcal{C} 表示类别 c 属于所有合法类别的集合。
    c∈Cc \in \mathcal{C}
  3. 取最大值\arg\max 表示在类别集合中挑出让票数最多的那一个类别。
    arg⁡max⁡\arg\max
  4. 求和统计\sum_{k=1}^{K} 把 K 次投票中满足条件的情况累加起来。
    ∑k=1K\sum_{k=1}^{K}
  5. 指示函数\mathbb{1}(y_k = c) 当且仅当第 k 次投票等于类别 c 时取 1。
    1(yk=c)\mathbb{1}(y_k = c)

置信度估计

三个临时工投票，A 类票数是 3、B 类是 0，你一定信心满满；但如果 A 类 2 票、B 类 1 票，你会有点犹豫。这个“犹豫程度”就是置信度。LLM 标注置信度最朴素的估计方法，就是看「最高票与次高票的差距」：差距越大，越有把握；差距越小，越拿不准。拿不准的样本，正是需要交给专家的那批。

得到置信度后，设定一个阈值 τ（比如 0.6），置信度 ≥ τ 的样本直接采纳机器标注，置信度 < τ 的样本进入人工复审队列。阈值怎么定？可以在小规模验证集上画一条“置信度-准确率”曲线：通常置信度高的样本准确率也高，找出准确率开始明显下滑的拐点，那里就是 τ 的合理位置。这就像你先让临时工试干 100 件，统计“2:1 分岐件”的返工率，再决定哪些档位需要送专家。

conf(x)=v1−v2K\displaystyle \text{conf}(x) = \frac{v_1 - v_2}{K}
公式含义：样本 x 的置信度等于最高票 v₁ 减去次高票 v₂ 再除以总票数 K。比值越接近 1 越有把握，越接近 0 越可疑。
  1. 置信度conf(x) 表示模型对样本 x 标注结果的把握程度。
    conf(x)\text{conf}(x)
  2. 最高票v_1 是 K 次投票中获得票数最多的类别的票数。
    v1v_1
  3. 次高票v_2 是票数第二多的类别的票数。
    v2v_2
  4. 归一化除以总票数 K 把差值缩放到 0-1 区间，便于统一设置阈值。
    1K\frac{1}{K}

人工复审流程

低置信度的样本被筛出来后，接下来交给谁？答案是「专业档案员」——可能是经验丰富的标注员，也可能是有领域知识的人类专家。这一机制叫「低置信样本的人工复审」。复审不是把整批数据重做一遍，而是只处理那 5%-20% 的“疑难杂症”，所以成本可控，质量却精准补齐。

复审流程设计上有一个常被忽略的细节：反馈闭环。专家纠正过的样本不要白白丢掉，把它们补充进下一轮提示的示例池里，LLM 下次遇到类似样本就能学乖。这就像你把专家改过的错误分拣记录复印给临时工当教材。如果某个类别反复被纠错，说明类别定义本身有歧义，需要回到提示设计环节修改定义。复审流程可以形式化为：

实际执行复审时，除了低置信样本，建议再随机抽 1%-3% 的高置信样本一并送审——这是防止“模型自信地错”。就像抽查几个临时工说“百分百确定”的包裹，确认他不是全凭感觉瞎分。复审结果回填数据集后，整个流水线才算真正闭合。

R(τ)={xi∣conf(xi)<τ}\displaystyle R(\tau) = \{ x_i \mid \text{conf}(x_i) < \tau \}
公式含义：送审集合 R 是全部样本中置信度低于阈值 τ 的那些样本。τ 越高，送审越多，质量越稳但成本越高。
  1. 送审集合R(\tau) 表示由阈值 τ 决定的需要人工复审的样本集合。
    R(τ)R(\tau)
  2. 集合定义\{ x_i \mid …… \} 表示“所有满足后面条件的样本 x_i 组成的集合”。
    {xi∣… }\{ x_i \mid \dots \}
  3. 判定条件conf(x_i) < \tau 表示样本 x_i 的置信度小于阈值。
    conf(xi)<τ\text{conf}(x_i) < \tau

质量评估对齐

你怎么知道临时工整体干得怎么样？靠抽检。每天随机抽 100 件包裹，让专家重新分一遍，对比临时工的结果，算出一致率。在 LLM 标注里，这种「抽样比对人工标注」的做法叫质量评估。抽多少样本才够？不是随手抽，而是用统计学公式算出来：要求置信度高、误差容忍度小，就需要抽更多。

拿到抽样评估结果后，用「对齐指标」衡量机器与人的差距。常用指标包括准确率（预测标签与人工标签一致的比例）、精确率与召回率（针对每个类别分别算），以及 Cohen's Kappa——它剔除了“碰巧一致”的成分，衡量真正的对齐程度。Kappa 值 0.8 以上说明模型标注与人工标注高度一致，流水线可以放心跑；0.6-0.8 说明有明显差距，需要优化提示或增加复审比例。此外，「混淆矩阵」能直观展示模型在哪些类别之间容易混淆——比如临时工总把“抱怨物流慢”误标成“咨询物流”，说明类别边界定义需要修正。

n=Z2⋅p^(1−p^)E2\displaystyle n = \frac{Z^2 \cdot \hat{p}(1-\hat{p})}{E^2}
公式含义：抽样样本量 n 由置信水平对应的 Z 值、预估一致率 \hat{p} 和允许误差 E 决定。常用 95% 置信水平时 Z≈1.96。
  1. 样本量n 是需要抽取进行质量评估的样本数量。
    nn
  2. 置信水平系数Z 是标准正态分布的临界值，95% 置信度时取 1.96。
    ZZ
  3. 预估一致率\hat{p} 是预估的模型与人工标注的一致比例，通常取 0.5 时样本量最保守。
    p^(1−p^)\hat{p}(1-\hat{p})
  4. 允许误差E 是你能接受的采样误差上限，比如 ±5%。
    E2E^2

成本质量平衡

临时工方案的灵魂是算账。设总样本量为 N，机器标注单价为 C_LLM（含推理费用），人工标注单价为 C_human，送审比例为 r，总成本可以建模为：

现实中 C_LLM 可能只有 C_human 的几十分之一。假设人工每条 1 元、LLM 每条 0.02 元、r=10%，一万条样本总成本 = 200 + 1000 = 1200 元，仅为纯人工 10000 元的 12%。省下的钱还能再投资到更多数据的采集上，形成数据飞轮。工程上还有进阶玩法：「分层标注」——简单样本走小模型、困难样本走大模型，再配合阈值路由到人工；「动态阈值」——根据实时质量抽检数据自动调大调小 τ，让送审比例在 5%-25% 之间弹性浮动。核心思想一句话：把人力花在刀刃上，其余全交给便宜的机器。

Ctotal=CLLM⋅N+Chuman⋅r⋅N\displaystyle C_{\text{total}} = C_{\text{LLM}} \cdot N + C_{\text{human}} \cdot r \cdot N
公式含义：总成本 = 全部样本的机器标注成本 + 送审样本的人工标注成本。若要控制总成本，关键是压低送审比例 r。
  1. 总成本C_{\text{total}} 是整批数据标注项目的总花费。
    CtotalC_{\text{total}}
  2. 机器成本C_{\text{LLM}} \cdot N 是 N 条样本全部过一遍 LLM 的推理费用。
    CLLM⋅NC_{\text{LLM}} \cdot N
  3. 送审比例r 是低置信样本占总样本的比例，是成本杠杆的核心旋钮。
    r⋅Nr \cdot N
  4. 人工成本C_{\text{human}} 是每条送审样本的人工标注单价。
    ChumanC_{\text{human}}

AI 应用场景

电商评论情感标注

阶段：数据准备阶段（训练集构建）

解决的问题：电商平台每天产生数十万条用户评论，纯人工标注情感倾向（好评/中评/差评）成本极高，一个 10 人标注团队每月工资十几万，仍赶不上数据增长速度。用 LLM 自动标注，先以提示模板定义三个情感类别的明确标准，每条评论让 LLM 独立标注 3 次投票，置信度超过 0.7 的直接采纳，低于阈值的送往人工审核。

具体案例：某电商数据团队用此方案处理 50 万条评论，送审率约 12%，人工只标注了 6 万条，总花费仅纯人工方案的 15%。抽样评估显示标注准确率达 92%，与纯人工标注的 94% 基本持平，但交付周期从三周缩短到三天。

客服工单意图分类

阶段：数据治理与特征工程

解决的问题：企业客服工单需要按意图（退款/咨询/投诉/售后）归档，历史积累的海量工单没有结构化标签，无法用于训练 NLP 分类模型。LLM 自动标注把存档工单批量打上意图标签，为下游模型训练提供燃料。

具体案例：某 SaaS 公司 20 万条历史工单用 LLM 标注，多轮投票中 2:1 分歧的样本占了 18%，全部送人工复核。他们发现“投诉”与“售后”类别在提示定义中有语义重叠，通过反馈闭环修改提示后，分歧率降到 9%。

新闻文章主题自动打标

阶段：数据标注与质量管理

解决的问题：内容平台每天入库上万篇新闻，需要打上财经、体育、科技等主题标签，用于推荐分发。要求高时效性，人工打标跟不上发布节奏。LLM 标注 + 抽检机制让标签在文章入库前就自动生成。

具体案例：某内容平台对 LLM 标注结果进行每日抽样评估，从当天标注结果中随机抽 200 条与人工标注比对，实时监控 Cohen's Kappa 指标。某次监控发现“科技”与“财经”类目的一致性从 0.85 跌到 0.72，排查发现是新出现的“AI 股票”类新闻横跨两类边界，及时修正提示定义后恢复稳定。

Python 演示

python49 行
import hashlibimport random  class VoteAnnotator:    def __init__(self, k=3, threshold=0.65):        self.vote_rounds = k        self.conf_threshold = threshold        self.stats_dict = {"accepted": 0, "review": 0}     def _round_vote(self, text, seed):        h = int(hashlib.md5((text + str(seed)).encode()).hexdigest(), 16)        r = random.Random(h)        return 0 if r.random() < 0.82 else 1     def annotate_one(self, text):        votes = [self._round_vote(text, i) for i in range(self.vote_rounds)]        v1 = max(votes.count(0), votes.count(1))        v2 = min(votes.count(0), votes.count(1))        label = 0 if votes.count(0) >= votes.count(1) else 1        conf = (v1 - v2) / self.vote_rounds        return label, round(conf, 3)     def run_pipeline(self, text_list):        results_list = []        for t in text_list:            label, conf = self.annotate_one(t)            if conf >= self.conf_threshold:                self.stats_dict["accepted"] += 1                results_list.append((t, label, conf, "accepted"))            else:                self.stats_dict["review"] += 1                results_list.append((t, label, conf, "review"))        return results_list  def main():    samples = ["退款申请", "物流太慢了", "客服态度好",               "产品有问题", "五星好评", "怎么联系售后"]    annotator = VoteAnnotator(k=3, threshold=0.65)    results = annotator.run_pipeline(samples)    print("ACCEPTED", annotator.stats_dict["accepted"])    print("REVIEW", annotator.stats_dict["review"])    for text, label, conf, action in results:        print(text, "->", label, "conf=", conf, action)  if __name__ == "__main__":    main()
目的：模拟“LLM 多轮投票 + 置信度过滤 + 人工复审分流”的合成数据标注流水线，演示核心逻辑。
  1. def _round_vote(self, text, seed)用文本哈希 + 种子模拟一次独立的 LLM 投票，相同种子保证可复现。
  2. votes = [self._round_vote(text, i) for i in range(self.vote_rounds)]对同一条样本执行 K 次独立投票，这正是“多轮标注”的核心实现。
  3. v1 = max(votes.count(0), votes.count(1))统计最高票数，为置信度计算做准备。
  4. conf = (v1 - v2) / self.vote_rounds按公式计算置信度，体现“最高票与次高票的差距”。
  5. if conf >= self.conf_threshold:置信度达到阈值就自动采纳，否则标记为需要人工复审。
  6. self.stats_dict["accepted"] += 1统计自动采纳与送审数量，对应成本模型中的送审比例 r。

常见误区

误区“反正现在是 API 调用，一条数据几分钱，总共花不了多少钱，随便跑就行。”把人力和算力成本都忽略不计，觉得自动标注就是白嫖。

正解LLM 标注的成本包含显性的 API 费（或自部署的 GPU 折旧电费）和隐性的提示调优时间、质量抽检人力、低置信样本复审费。一条数据 0.02 元看起来很便宜，但 100 万条就是 2 万元，加 10% 复审就是实打实的预算。就像临时工一小时 8 元，但一百人干一个月也是不小的支出，开工前一定要按成本模型算清楚。

为何常见：因为 API 单价给人的感知太低，容易被“单价 × 规模”的巨大数量级差麻痹，忽略了总量规模。

误区“多轮投票就是防出错，那我把 K 设成 10，模型多投几次一定更准。”

正解投票的收益在 K=3 到 5 之间边际递减明显，因为各轮投票并非完全独立——同一个模型对同类文本的模式化错误是系统性的，投 10 次可能错 8 次。真正的价值不是“人多力量大”，而是“暴露分歧”：分歧大的样本大概率是难例，需要送人工。K 设太大只是在放大成本，并没有带来更高质量。

为何常见：人们用日常经验“投票的人越多越靠谱”类比机器投票，忽略了多数表决对系统性误差无能为力的特性。

误区“把 τ 设到 0.9，只采纳模型+非常有把握的样本，质量一定最好。”

正解τ 设得越高，送审的样本比例越大，人工成本跟着飙升，自动标注的成本优势被吃掉。τ=0.9 时可能 40% 的样本都要送审，这时候还不如干脆全人工。正确做法是在验证集上画“置信度-准确率”曲线找拐点，让送审率控制在 5%-20% 之间。阈值不是越高越好，而是“质量达标的前提下尽量低”。

为何常见：直觉上觉得“更高的标准等于更好的质量”，但忽略了质量是与成本强耦合的工程指标，不是单一最大化问题。

误区“LLM 标完的数据直接拿去训练模型就行，反正 LLM 很聪明，不会有问题。”

正解不抽样评估就不知道模型标注的准确率到底有多少。如果 LLM 在某个类别上系统性地误标，用这堆脏数据训练出来的模型会把错误学进去，形成“错误放大”。必须用专家抽检 + Cohen's Kappa + 混淆矩阵定期体检，及时发现系统性偏差。临时工干的活，一定要抽检盖章才算验收。

为何常见：大模型在通用任务上的惊艳表现给了人“全知全能”的错觉，忽略了标注任务对领域准确性的苛刻要求。

误区“我按最佳实践写了很详细的提示，应该直接就能拿到高质量标注了。”

正解提示模板几乎必然要迭代。你的类别定义可能在模型眼里有歧义、示例可能选偏了分布、措辞可能引起系统性倾向。正确的做法是先跑小批量，看错误模式、调类别定义、补充反例示例，至少要迭代 2-3 轮再全网铺开。工作说明书改三遍，好过一百个临时工返工三遍。

为何常见：书面表达存在天然的歧义，写的人以为说清楚了，模型理解的系统却可能完全走偏。

面试题

Q1. LLM 自动标注相比纯人工标注，最核心的优势是什么？

单选题 · easy

  • A.标注质量一定更高
  • B.成本和速度优势显著← 正确答案
  • C.完全不需要人工参与
  • D.提示模板无需设计

答案：B。LLM 自动标注的核心价值在于以极低的边际成本和高吞吐量替代重复性人力劳动。选项 A 错误——自动标注质量不一定超过人工，通常是通过复审弥补差距；C 错误——低置信样本和抽检仍需人工；D 错误——提示设计恰恰是最需要投入精力的环节。

Q2. 在 LLM 标注提示模板中，“类别定义”的作用是什么？

单选题 · easy

  • A.定义模型输出的标签集合与标准← 正确答案
  • B.告诉模型不要输出任何标签
  • C.设定模型的 API 调用超时时间
  • D.决定随机种子的大小

答案：A。类别定义是提示的核心骨架，它明确每个标签的含义和合法输出范围，让 LLM 知道该输出什么、不该输出什么。B 与标注任务宗旨相反；C 和 D 是工程配置与提示内容无关。

Q3. 某样本经过 3 轮 LLM 标注，投票结果为 [A, B, A]，则置信度是多少？

单选题 · mid

  • A.0.33← 正确答案
  • B.0.67
  • C.0.50
  • D.1.00

答案：A。最高票为 A 类共 2 票（v₁=2），次高票为 B 类 1 票（v₂=1），LUG 按公式 conf=(v₁−v₂)/K=(2−1)/3≈0.33。这个置信度低于常见阈值 0.6，应送人工复审。B 是最高票占比，C 是 1/K，D 是全体一致才有的值。

Q4. 关于多轮投票机制的“独立性”，以下说法正确的是？

单选题 · mid

  • A.K 次投票应在同一对话上下文中连续生成
  • B.每次投票应使用全新的对话上下文← 正确答案
  • C.独立性对投票效果没有影响
  • D.投票轮数越多独立性越强

答案：B。独立性要求每次投票互不干扰。若在同一个对话中连续生成 K 个答案，模型会受自己前一轮输出的惯性影响，破坏独立性。正确做法是每次调用都用全新上下文，让每轮投票真正“独立背对背”进行。

Q5. 低置信度样本从流水线中筛出后，正确的处理方式是？

单选题 · mid

  • A.直接丢弃这些样本
  • B.全部强行按多数票采纳
  • C.交给人类专家复审← 正确答案
  • D.降低阈值重新判断

答案：C。低置信样本意味着模型投票分歧大、把握不足，这正是人工复审要精准处理的“疑难杂症”。直接丢弃浪费数据；强按多数票采纳等于无视置信度信息；降低阈值只是掩耳盗铃，并没有真正解决质量风险。

Q6. 以下哪些是评估 LLM 标注质量的常用手段？

多选题 · mid

  • A.抽样比对人工标注算准确率← 正确答案
  • B.计算 Cohen's Kappa 对齐指标← 正确答案
  • C.查看混淆矩阵诊断类别混淆← 正确答案
  • D.根据提示词的字符数判断

答案：ABC。质量评估依赖抽样比对（A）、对齐指标（B）和混淆矩阵（C）。D 毫无依据——提示字数与标注质量没有单调关系，长提示也不等于好提示。

Q7. 人工复审环节的“反馈闭环”指的是什么？

单选题 · easy

  • A.把人工智能专家招入团队
  • B.将专家纠正样本回填提示示例池← 正确答案
  • C.把复审结果发给客户确认
  • D.关闭所有自动标注通道

答案：B。反馈闭环是指把专家修正过的标注样本补充进下一轮提示的示例池，让 LLM 在后续标注中学会避开同样的错误。这类似于把专家的纠错记录复印给临时工当教材，是流水线持续变强的关键机制。

Q8. 关于成本质量平衡，以下哪些策略是有效的？

多选题 · hard

  • A.简单样本用小模型标注← 正确答案
  • B.困难样本路由到大模型← 正确答案
  • C.动态调整置信度阈值← 正确答案
  • D.全量样本一律走人工复审

答案：ABC。分层标注（简单用小模型、困难用大模型）和动态阈值都是成熟的分流策略，能在质量达标前提下压降成本。D 走回纯人工老路，放弃了自动标注的成本优势。

Q9. 在一批 LLM 标注结果中，模型在“投诉”与“咨询”两个类别之间的混淆明显增多，此时最合理的优化动作是？

单选题 · hard

  • A.把两个类别合并成一个
  • B.修改提示中的类别定义并补充边界示例← 正确答案
  • C.把阈值从 0.6 调高到 0.9
  • D.增加投票轮数到 10

答案：B。混淆增多通常是类别边界在定义层面就不清晰，正确的做法是回到提示设计环节，细化类别定义、补充边界案例（如“含负面情绪的问询算投诉还是咨询”）。合并类别会丢失信息，调阈值是治标不治本，增加投票轮数对系统性混淆无能为力。

Q10. 关于 LLM 标注数据的质量评估，以下说法正确的有哪些？

多选题 · hard

  • A.抽样样本量应由统计公式确定← 正确答案
  • B.Kappa 值 0.8 以上表示高度对齐← 正确答案
  • C.高置信样本也可以抽检几个← 正确答案
  • D.质量评估只需做一次即可

答案：ABC。样本量按 n=Z²p(1−p)/E² 计算确保统计有效性；Kappa>0.8 说明剔除随机一致后仍高度对齐；抽检高置信样本可防止“自信地错”。D 错误——数据分布和模型都在变，质量评估需要持续监控。