想象一下，你要为一百位客人办一场盛大晚宴。菜品、预算、口味都规划好了，唯独食材采购让人头疼：有人建议你凌晨去天光市场——摊贩自由摆摊，什么都有，价格也便宜，但得自己一根根挑青菜、防烂果；有人建议你买一套顶级厨具自己下厨——工具随心所欲，但买菜、洗切、掌勺全得亲力亲为；还有人推荐一支米其林私厨团队——从选材到摆盘全包，出品稳定，账单也相当体面。这场晚宴，就是你正在训练的 AI 模型；食材，则是模型的“燃料”——标注数据；而这三条采购路线，恰好对应三类主流标注平台：Amazon MTurk、Label Studio 与 Scale AI。选对平台，就像选对食材供应商：省下的不只是钱，还有无数个加班熬夜的夜晚。接下来，我们就把这三家“供应商”摆上案板，逐一拆解，帮你端出一桌既有质量又有性价比的 AI 盛宴。

岗位关联

对 AI 从业者而言，平台选型直接决定数据成本与质量天花板。掌握这套对比与决策方法，等于拥有数据标注采购的“定价权”与“质检官”能力，是数据工程岗位的核心竞争力。

目录
  1. 可视化演示
  2. 平台全景认知
  3. Amazon MTurk
  4. Label Studio
  5. Scale AI
  6. 选型决策矩阵
  7. 成本与质量
  8. 实战落地指南
  9. AI 应用场景
  10. Python 演示
  11. 常见误区
  12. 面试题

可视化演示

动态演示主流众包平台对比的核心机制，通过开始/执行/监控/完成四种模式展示关键概念与交互流程。

本节配有交互动效（进入视口后自动加载，约 3KB）。

主流众包平台对比：众包平台 众包平台是什么：概念与定位 主流平台横向对比：功能与定价 核心机制可视化 主流众包平台对比整体架构与关键组件

平台全景认知

筹备晚宴的第一步，不是冲进菜市场，而是先搞清楚食材可以从哪些渠道来：天光市场的流动摊位、自家厨房的专业灶台、私厨团队的中央厨房。标注平台的世界同样存在三条清晰的采购路线——众包市场、自建工具、托管服务。不了解这三类形态，选型就如同闭着眼睛点菜，上桌才知咸淡。

第一类，Amazon MTurk 代表的众包市场模式，像天光市场：需求方挂出任务（HIT），全球标注者自由领取，供需自由匹配；第二类，Label Studio 代表的工具型自建模式，像自家厨房：软件开源免费、部署在自己服务器上，但标注人力要自己组织；第三类，Scale AI 代表的托管服务模式，像私厨团队：需求方只出菜单和规格，交付成品质检全包。决定走哪条路的，是四个核心参量：单价、速度、质量、掌控度。这四者就像晚宴上你关心的价格、上菜时间、菜品水准和厨房自主权，几乎没有平台能四项全优。

无论走哪条路，一个标注项目的总开销都由三块组成：直接付给标注方的劳务费、自己投入的管理成本、以及不合格返工的额外损失。把这本账写清楚，是后续一切比价的前提。

看懂这三条采购路线后，晚宴的大方向就有了：想去菜市场还是请私厨，取决于你愿意花多少时间、冒多少风险。接下来逐一认识这三家“供应商”。

C总=C标注+C管理+C返工\displaystyle C_{\text{总}} = C_{\text{标注}} + C_{\text{管理}} + C_{\text{返工}}
总成本不是简单“单价 × 数量”，而是标注费、管理费、返工费三部分之和。返工费往往是被新手忽略的最大黑洞。
  1. 总成本 $C_{\text{总}}$一个标注项目的全部花钱去处，相当于晚宴的整张账本。
    C总C_{\text{总}}
  2. 标注费 $C_{\text{标注}}$按条付给标注方的基础费用，对应菜市菜价的标价，通常等于任务量乘单价。
    C标注=N×P单价C_{\text{标注}} = N \times P_{\text{单价}}
  3. 管理费 $C_{\text{管理}}$自己投入的质检、培训、平台配置等人工开销，相当于你请人挑菜洗菜的人工钱。
    C管理C_{\text{管理}}
  4. 返工费 $C_{\text{返工}}$因不合格被打回重做的二次成本，相当于扔掉烂菜再买一份的钱。
    C返工C_{\text{返工}}

Amazon MTurk

清晨的天光市场，有人四点起床支摊，有人路过随手卖把青菜，摊贩来去自由、数量庞大。Amazon MTurk 正是这样的“自由市场”：需求方把任务拆成一个个微小的 HIT（Human Intelligence Task，人工智能任务），挂到平台上，全球几十万标注者像赶早市的摊贩一样自由领取，做完一个结一个的钱。启动快、规模大、价格低，是它最鲜明的标签。

MTurk 的定价机制像市场的摊位费规则：你标给工人的价格，加上平台抽成，才是你的实际支出。平台目前会对需求方收取约 20% 的佣金，这就像市场管理方从每笔交易中抽头。把账算清，才能避免“看着便宜，付钱心疼”。

天光市场鱼龙混杂，MTurk 的质量也参差不齐，但懂行的人有办法：发布任务时嵌入金标准题（答案已知的测谎题）筛掉乱点的人，用多数投票让三个人标同一份数据取多数答案，再按工人通过率（Approved Rate）过滤低水平摊贩。MTurk 适合隐私要求低、预算有限、需要快速拿到大量通用标签的场景——比如情感分类、图片打标、实体识别。它就像那把“便宜又快的刀”，能不能切出好菜，全看掌刀人的功夫。

P雇主支出=P工人所得×(1+r佣金)\displaystyle P_{\text{雇主支出}} = P_{\text{工人所得}} \times \left(1 + r_{\text{佣金}}\right)
雇主实际花出去的钱 = 工人拿到手的钱 ×（1 + 佣金率），MTurk 佣金率约 20%，报价时必须把这部分计入预算。
  1. 雇主支出 $P_{\text{雇主支出}}$你在 MTurk 上实际付出去的钱，相当于你买菜时实际掏出的现金。
    P雇主支出P_{\text{雇主支出}}
  2. 工人所得 $P_{\text{工人所得}}$标注者真正拿到手的那部分，对应菜贩最终落袋的钱。
    P工人所得P_{\text{工人所得}}
  3. 佣金率 $r_{\text{佣金}}$平台抽成的比例，目前约 20%，即每付工人 1 美元，你实际支出 1.2 美元。
    r佣金≈0.2r_{\text{佣金}} \approx 0.2

Label Studio

如果你属于“自己下厨派”，那 Label Studio 就是一套顶级厨具：亮闪闪的刀具、精准的电子秤、多灶头的专业炉具——但注意，它不会替你买菜做饭，只会让愿意下厨的人效率翻倍。作为一款开源的标注工具，Label Studio 由 Heartex 团队开发，软件本身免费，部署在自家服务器上，数据完全不出内网。

Label Studio 的核心价值在于界面与流程的灵活性：图像框选、文本分类、语音转写、时间序列标注一应俱全，还能接入你的预训练模型做预标注（pre-labeling，机器先标一遍、人工只修错），相当于机器人先切好配菜，大厨只负责颠勺。它解决了“怎么标”的软件问题，但“谁来标”的人力问题仍需自己解决——要么养一支内部标注团队，要么把平台开放给众包工人使用。

Label Studio 最适合对数据隐私极度敏感的团队——比如医疗影像、金融单据、企业内部数据，或者需要长期反复标注、流程高度定制的场景。自己下厨虽然辛苦，但灶台在自己手里，盐放多少、火开多大，全由你说了算，这份掌控感是花钱也难买的。

C自建=C服务器+C部署培训+C人力×T\displaystyle C_{\text{自建}} = C_{\text{服务器}} + C_{\text{部署培训}} + C_{\text{人力}} \times T
自建模式没有按条计费，但存在三笔账：服务器成本、部署与培训成本、以及随标注时长线性增长的人力成本。人力才是大头。
  1. 服务器 $C_{\text{服务器}}$云主机或内网服务器的租用/采购费用，是自建的入场券，相当于买炉灶的钱。
    C服务器C_{\text{服务器}}
  2. 部署培训 $C_{\text{部署培训}}$安装配置平台、编写标注规范、教会标注者使用工具的固定开销。
    C部署培训C_{\text{部署培训}}
  3. 人力成本 $C_{\text{人力}} \times T$标注人员的工资乘以投入时间，随任务量增长，是自建模式最昂贵的变量。
    C人力×TC_{\text{人力}} \times T

Scale AI

私厨团队上门，穿着整齐的制服，带着新鲜的食材和全套厨具，你只需要递上一份菜单，剩下的交给他们。Scale AI 就是标注界的“米其林私厨”：面向 AI 企业的全托管标注平台，提供从任务拆分、标注执行到质量审核的完整闭环。你不必操心任何一个细节，只等成品上桌。

Scale AI 的底气来自三件事：一是专业标注团队，按项目配备受过训练、有领域知识的标注者，而不是随机的路人摊贩；二是内置质控流程，多层交叉审核、专家抽检、自动化校验层层把关，相当于每道菜都有主厨试味；三是企业级服务，提供 SOC 2、HIPAA 等安全合规认证，还能承接自动驾驶 3D 点云、大模型 RLHF 指令数据这类高难度任务。当然，这种省心的代价是较高的按条单价。

Scale AI 最适合专业性强、质量要求高、时间紧迫的关键任务——自动驾驶标注错一个框可能酿成事故，医疗数据错一个标签可能误诊。请私厨贵，但省心、稳定、可预期；如果你问自己“这道菜我敢不敢自己下厨”，答案犹豫了，那托管也许就是值得的答案。

C托管=N×P含质控\displaystyle C_{\text{托管}} = N \times P_{\text{含质控}}
托管模式计价简单直接：任务量 × 含质控的单价。没有自建模式的固定投入，但单价里已经包含了团队管理和质量保障的成本。
  1. 任务量 $N$需要标注的样本总条数，相当于宴会的宾客人数，人越多账单越厚。
    NN
  2. 含质控单价 $P_{\text{含质控}}$每一条样本的打包价，已包含标注人工、审核抽检、项目管理等全部费用。
    P含质控P_{\text{含质控}}
  3. 总价 $C_{\text{托管}}$两者相乘即总花费，与自建公式相比没有固定成本项，但单价明显更高。
    C托管=N×P含质控C_{\text{托管}} = N \times P_{\text{含质控}}

选型决策矩阵

三家供应商各有长短，晚宴到底定谁？成熟的决策者不会拍脑袋，而是把客人规模、口味要求、预算上限、过敏原禁忌一条条拍在桌上打分。标注平台选型同样需要一张决策矩阵，用四个维度逐一过筛。

第一维，任务类型匹配：通用文本分类、图片打标这类“家常菜”，众包市场完全够用；3D 点云、医学影像、多轮对话这类“硬菜”，则更适合托管或自建的专业能力。第二维，预算规模核算：一次性小任务用众包最划算；持续数月的大项目，自建的固定成本可以被摊薄。第三维，数据安全门槛：数据能不能出域是硬约束，敏感数据直接排除众包，等于晚宴有客人花生过敏，花生类的菜一律不上。第四维，团队运维能力：有没有专门的数据标注管理员？没有运营能力却选自建，就像买了整套厨具却没人会做饭。

把这四个维度的考量量化，可以做成一张加权评分表：先给每个维度分配权重，再给每个平台打分，最后加权求和。

这张矩阵的妙处在于：它逼着你先想清楚“自己最在乎什么”。预算紧张的初创公司，成本权重高，众包得分自然领先；做医疗 AI 的团队，安全权重一票否决，自建或托管直接锁死选项。菜没有绝对的好坏，只有合不合这一桌客人的口味。

S平台=∑i=1nwi×si\displaystyle S_{\text{平台}} = \sum_{i=1}^{n} w_i \times s_i
平台综合得分 = 各维度得分 × 对应权重的总和。权重代表你对价格、速度、质量、安全的在乎程度，且所有权重之和应为 1。
  1. 维度得分 $s_i$某个平台在第 i 个维度上的表现分，比如众包在速度上打 9 分、在质量上打 5 分。
    sis_i
  2. 权重 $w_i$你对第 i 个维度的重视程度，数值越大越重要，全部权重要归一化。
    ∑i=1nwi=1\sum_{i=1}^{n} w_i = 1
  3. 加权求和把每个维度的得分乘以权重再相加，得到平台的总分。
    S平台=∑i=1nwi×siS_{\text{平台}} = \sum_{i=1}^{n} w_i \times s_i

成本与质量

天光市场的青菜标价两块，但你挑掉烂叶、洗掉泥土，能下锅的可能只剩七成，折合下来并不便宜；私厨的菜二十五块一盘，没有损耗、摆盘精美，算上省下的时间和心情，未必是冤枉钱。标注行业的老手都明白：比价要算“有效单价”，而不是看标价。

公式的奥妙藏在分母里——错误率 ε 会同时击中分子和分母：既带来返工成本推高分子，又减少有效样本数压低分母。举个例子：同样 10 万元预算，A 平台错误率 5%，B 平台错误率 15%，算下来 B 的有效单价可能比 A 贵出三成。这就是为什么规模越大、质量差的一方越吃亏。

为了压低错误率，成熟团队普遍使用“质控三件套”：金标准题提前测谎、冗余标注交叉验证、抽检审计持续监控。哪怕在众包市场，这套机制也能把质量拉到接近专业团队的水平。记住：质量不是平台的属性，而是管理出来的结果；算账时把错误率当作一道乘法题，比价才不会看走眼。

C有效=C标注+C管理+C返工N×(1−ε)\displaystyle C_{\text{有效}} = \frac{C_{\text{标注}} + C_{\text{管理}} + C_{\text{返工}}}{N \times (1 - \varepsilon)}
有效单价 = 总成本 ÷ 有效样本数。错误率 ε 是“隐形税”，它既增加返工成本，又减少有效样本，双重打击下让便宜平台变贵。
  1. 分子总成本：标注费、管理费、返工费之和，对应你为这桌菜付出的全部现金。
    C标注+C管理+C返工C_{\text{标注}} + C_{\text{管理}} + C_{\text{返工}}
  2. 分母有效样本数：只有质量合格、能用于模型训练的样本才计入，相当于挑掉烂叶后真正下锅的菜。
    N×(1−ε)N \times (1 - \varepsilon)
  3. 错误率 $\varepsilon$标注不合格的比例。错误率越高，分母越小，分子还因返工变大。
    ε=N不合格N\varepsilon = \frac{N_{\text{不合格}}}{N}
  4. 有效单价 $C_{\text{有效}}$总成本除以有效样本数，是跨平台比价的唯一公允口径。
    C有效=总成本有效样本数C_{\text{有效}} = \frac{\text{总成本}}{\text{有效样本数}}

实战落地指南

正式宴请一百位客人之前，聪明的东道主会先办一场小型试菜宴：请三五个朋友来尝大厨的手艺，咸了淡了一试便知。标注平台的选型同样不该“一步到位”，而要走四步稳妥的落地流程：试点、基准、混合、迭代。

第一步，小批量试点：每个候选平台只发几百条真实任务，用最小成本暴露问题——报价是否含水、标注规范是否写得清、响应速度是否达标。第二步，基准测试评估：拿一批自己手工标注好的金标准数据（答案确定无误的样本）混入任务流，对比各平台的质量、价格、时效，让数据自己说话。第三步，混合平台策略：通用任务走众包摊薄成本，专业任务走托管保证质量，敏感任务走自建守住安全。第四步，流程迭代优化：定期抽检线上数据，把质量不达标的平台降权或替换。

抽检不是拍脑袋定数量，而是有统计学依据的。当你需要评估一个标注批次的质量时，抽多少条才能保证结论可靠，可以用下面的公式估算。

试菜宴的意义不在于那几道菜本身，而在于让你对未来的正式宴席有了底气。标注平台选型从来不是一锤子买卖：先用小成本验证，再用数据决策，最后用混合策略保持弹性。晚宴的宾客陆续到场时，你会庆幸当初没有把宝押在一家供应商身上。

n=Z2×p×(1−p)e2\displaystyle n = \frac{Z^2 \times p \times (1 - p)}{e^2}
抽检样本量 = Z² × 预期错误率 × (1 − 预期错误率) ÷ 允许误差²。p 取 0.5 时样本量最大，这是最保守的估算方式。
  1. 置信系数 $Z$与置信水平对应：95% 置信度取 1.96，99% 取 2.58，Z 越大说明你越追求结论可靠。
    Z95%≈1.96Z_{95\%} \approx 1.96
  2. 预期错误率 $p$预估的标注错误比例。无法估计时取 0.5，此时式子取值最大，最保险。
    p=0.5p = 0.5
  3. 允许误差 $e$你能接受样本统计值与真实值的偏差，比如 ±3% 即 e=0.03。e 越小，需要抽的样本越多。
    e=0.03e = 0.03
  4. 样本量 $n$需要抽检的条数，算出来是几百条级别，远小于整批任务量，这就是“以少验多”的杠杆。
    n=Z2×p×(1−p)e2n = \frac{Z^2 \times p \times (1 - p)}{e^2}

AI 应用场景

自动驾驶视觉数据采购

阶段：训练数据生产（感知模型标注）

解决的问题：自建 3D 点云标注团队需要数月招聘与培训，成本高、周期长、质检难；Scale AI 等托管平台提供 2D/3D 融合标注、语义分割、多传感器对齐等专业方案，内置多层质控与合规审计，相当于直接把私厨团队请进后厨。

具体案例：某自动驾驶初创公司需在两个月内完成 50 万帧 3D 点云标注。自建评估需 6 个月且缺专业质检员，最终选择 Scale AI 托管方案：任务拆分到专业标注小组，模型预标注 + 人工修正流水线，按期交付且抽检通过率达 98%。

电商评论情感分析冷启动

阶段：冷启动数据采集与清洗

解决的问题：初创 NLP 团队预算有限、时间紧迫，传统外包公司最低起订量高、沟通周期长；MTurk 众包可随时发布、按条计费，用金标准题与多数投票过滤低质工人，48 小时内拿到可用的情感标签数据。

具体案例：某初创团队在 MTurk 发布 1 万条三分类情感标注任务，单条 5 美分，内置 10% 金标准测谎题。两轮筛选后工人通过率稳定在 90% 以上，总花费约 700 美元，三天内完成模型冷启动训练。

医疗影像院内标注

阶段：数据治理与合规标注

解决的问题：患者影像数据严禁出域，公有众包平台一律不可用；Label Studio 支持本地化部署，数据零出域，配合院内医技人员完成专业标注，既守住安全红线又保留流程掌控力。

具体案例：某三甲医院 AI 团队在隔离内网部署 Label Studio，由放射科医生使用多边形工具完成肺结节标注。平台接入预分割模型做预标注，医生只需修正边界，单张 CT 标注时间从 15 分钟降至 4 分钟，数据全程未离开内网。

Python 演示

python34 行
# -*- coding: utf-8 -*-"""众包平台选型成本估算器：对比三类平台的有效样本单价。"""  class Platform:    def __init__(self, name, unit_price, error_rate, setup_cost=0):        self.name = name        self.unit_price = unit_price        self.error_rate = error_rate        self.setup_cost = setup_cost     def effective_cost(self, volume, manage_hours=0, hourly_rate=60):        labor = self.unit_price * volume        rework = labor * self.error_rate        manage_cost = manage_hours * hourly_rate        total = labor + rework + manage_cost + self.setup_cost        valid = volume * (1 - self.error_rate)        return total / valid  def main():    volume = 10000    platforms = [        Platform("MTurk 众包", 0.06, 0.15, 0),        Platform("LabelStudio 自建", 0.10, 0.08, 3000),        Platform("ScaleAI 托管", 0.28, 0.03, 6000),    ]    for p in platforms:        cost = p.effective_cost(volume, manage_hours=10)        print("{}: 单条有效成本 {:.3f} 元".format(p.name, cost))  if __name__ == "__main__":    main()
目的：用有效单价公式对比三类平台在 1 万条任务下的真实成本，演示“标价便宜≠总成本低”的选型逻辑。
  1. class Platform:把“平台”抽象成可计算成本的类，相当于把菜市场、私厨装进同一张账本。
  2. def effective_cost(self, volume, manage_hours=0, hourly_rate=60):定义有效单价的计算方法，管理人力按小时折算。
  3. rework = labor * self.error_rate用错误率估算返工成本，错误率越高，返工越贵。
  4. valid = volume * (1 - self.error_rate)出错样本不算数，这才是分母上的“有效样本数”。
  5. total = labor + rework + manage_cost + self.setup_cost分子汇总全部花费，含劳务、返工、管理、部署四笔账。
  6. Platform("ScaleAI 托管", 0.28, 0.03, 6000)托管平台单价高但错误率低，固定投入也最高。
  7. cost = p.effective_cost(volume, manage_hours=10)统一按 10 小时管理投入对比，保证口径一致。

常见误区

误区“MTurk 单条标 5 分钱，比 Scale AI 的 3 毛便宜多了，选它准没错！”

正解总成本要看“有效样本单价”。菜市场的青菜 2 块钱一斤，挑掉烂叶只剩七成；私厨贵，但损耗低。按 C_eff = 总成本 ÷ 有效样本数 计算，MTurk 的 5 分可能因 15% 错误率变成 7 分，而 Scale AI 的 3 毛因错误率仅 3% 还是 3 毛出头。比价必须算总账，不能只看标价。

为何常见：人天然关注标价而非完全成本，把“单价 × 数量”当成了全部支出，忽略了返工与管理这两笔隐形开销。

误区“Label Studio 是开源的，不花钱，直接部署就有人帮我标注了。”

正解Label Studio 是厨具不是厨师。它解决的是“怎么标”的软件问题，不解决“谁来标”的人力问题。部署需要服务器与运维成本，标注还要自己养团队、写规范、做质检。免费的菜刀不会自动做出满汉全席，免费的标注工具也不会自动产出标注数据。

为何常见：把“免费工具”和“免费劳动力”混为一谈，忽略了自建模式里人力才是最大的成本项。

误区“我们是小团队，预算只有几万块，Scale AI 这种高端平台和我们无缘。”

正解Scale AI 支持小批量试点、按条计费，并非只有大企业才够得着。如果任务专业性强、质量要求高（如自动驾驶、医疗影像），众包返工带来的隐性成本可能远超平台差价。小团队恰恰应该先办“试菜宴”：用几百条任务实测，让数据告诉你值不值。

为何常见：被品牌的“高端定位”吓住，没有做真实比价就自我设限，错失了“省心”这一隐性收益。

误区“MTurk 的标注者都是随便点两下的路人，质量不可信，碰都不要碰。”

正解众包质量靠机制管理：金标准题测谎、多数投票交叉验证、工人通过率过滤。就像菜市场确实鱼龙混杂，但懂行的买家会挑会筛，买回去的菜照样能上大席。MTurk 每天有海量任务被高质量交付，关键是你能不能建立一套有效的筛选流程。

为何常见：把“需要管理”误解为“不可救药”，忽略了众包在成本与速度上的独特优势。

误区“选定一个平台就长期用，换来换去太麻烦，认准一家最省心。”

正解成熟团队大多采用混合策略：通用任务走众包摊薄成本，专业任务走托管保证质量，敏感任务走自建守住安全。任务形态、预算、合规要求变化时，平台配比也应随之调整。选型是持续优化的过程，不是一锤子买卖。

为何常见：迁移存在沉没成本，人们误以为固定供应商等于稳定，实际上把鸡蛋放在一个篮子里才是最大的风险。

面试题

Q1. Amazon MTurk 最典型的平台特征是下列哪项？

单选题 · easy

  • A.一对一定制的私厨服务
  • B.开源可自部署的软件
  • C.开放自由接单的众包市场← 正确答案
  • D.纯线下的数据标注工厂

答案：C。MTurk 是典型的众包市场模式，需求方发布 HIT 任务、全球标注者自由领取，对应“天光市场”；A 是托管服务特征，B 是工具型特征，D 与实际模式不符。

Q2. Label Studio 的核心定位是什么？

单选题 · easy

  • A.全球众包劳动力池
  • B.开源数据标注工具← 正确答案
  • C.全托管标注外包服务
  • D.云端标注供应商平台

答案：B。Label Studio 是开源标注软件，解决“怎么标”的工具问题，不提供标注劳动力；A 是众包市场、C 和 D 是托管服务的特征。

Q3. 下列哪一项属于 MTurk 模式中常被忽略的隐性成本？

单选题 · mid

  • A.返工与筛选质控成本← 正确答案
  • B.平台收取的年度会员费
  • C.服务器硬件的采购费用
  • D.标注团队的差旅与团建

答案：A。MTurk 无年费，隐性成本主要来自标注错误导致的返工和质控投入，就像菜市场挑烂叶浪费的时间；C、D 是自建模式的成本项。

Q4. 计算“单条有效样本成本”时，分母应该使用哪个数值？

单选题 · mid

  • A.平台注册的标注工人数
  • B.全部已标注的样本总数
  • C.通过质控的有效样本数← 正确答案
  • D.标注规范文件的页数

答案：C。有效单价的分母是 N×(1−ε)，即通过质控的样本数。把不合格样本算进分母会高估产量，就像把烂叶也算进可下锅的菜量。

Q5. 标注平台选型时，应当系统考察哪些维度？

多选题 · mid

  • A.任务类型与复杂度匹配← 正确答案
  • B.预算规模与隐性成本← 正确答案
  • C.数据安全与合规门槛← 正确答案
  • D.平台官网的界面美观度

答案：ABC。选型决策矩阵围绕任务类型、预算、安全、团队能力四个维度，D 属于无关干扰项。界面美观不影响标注质量与成本。

Q6. 混合平台策略的核心思想是什么？

单选题 · easy

  • A.把任务平均分给三家平台
  • B.按任务特性分配最优平台← 正确答案
  • C.永远只选最贵的托管平台
  • D.永远只选最便宜的众包平台

答案：B。混合策略是按任务特性择优：通用任务众包、专业任务托管、敏感任务自建，而不是平均分配或盲目选贵/选便宜。

Q7. 关于小批量试点的作用，下列说法正确的是哪些？

多选题 · hard

  • A.用少量数据评估标注质量← 正确答案
  • B.可横向对比平台间报价← 正确答案
  • C.能提前暴露标注规范漏洞← 正确答案
  • D.可以让正式任务直接省略

答案：ABC。试点是正式宴席前的“试菜宴”，用几百条任务验证质量、价格、规范；但试点不能替代正式任务，D 夸大了试点的作用。

Q8. 医疗影像这类敏感数据的标注，最合适的方案是哪项？

单选题 · mid

  • A.直接发布到公开众包平台
  • B.自建工具加内部团队标注← 正确答案
  • C.委托给海外传统外包商
  • D.挂到公开数据竞赛平台

答案：B。医疗数据严禁出域，众包和外包都会带来合规风险；自建 Label Studio 本地化部署 + 院内人员标注是守住安全红线的标准做法。

Q9. 某批任务标注错误率为 10%，在其他条件不变时，返工成本大约是多少？

单选题 · hard

  • A.总成本的百分之二左右
  • B.劳务成本的百分之十← 正确答案
  • C.劳务成本的一半以上
  • D.总成本整整翻一倍

答案：B。返工成本近似为劳务成本 × 错误率，即约 10% 劳务成本，相当于 10% 的菜要重新买；错误率翻倍会使返工成本线性上升，但不会直接翻总成本，A、C、D 均偏大。

Q10. 关于抽检样本量公式 n = Z²p(1−p)/e²，下列说法正确的是哪些？

多选题 · extreme

  • A.p 代表预期标注错误率← 正确答案
  • B.e 表示允许的抽样误差← 正确答案
  • C.p 取 0.5 时样本量最大← 正确答案
  • D.Z 增大时所需样本量减小

答案：ABC。n 随 Z 增大而增大（置信度要求越高抽得越多），D 说反了；p(1−p) 在 p=0.5 时取得最大值 0.25，因此 C 正确。