想象一间名叫「智能厨房」的顶级餐厅，招牌菜是 AI 模型，主厨是算法工程师。上灶之前，最重要的工作其实是「备料」：昨天半夜去有机农场谈下整棚番茄，今天清晨在海鲜市场抢到最新一批带鱼，冷藏库里还存着分子料理机合成的仿真蟹肉——这些动作，就是科研项目里常说的「数据采集」。数据像食材：传感器、爬虫、实验仪器是不同路子的供应商；服务器日志像后厨监控，无声记录每一次颠勺；物理仿真像温室，批量培育现实里难寻的珍稀食材；而清洗、标注、合规检查，分别对应摘菜洗菜、给调料瓶贴标签、核对供应商资质。本文陪你走完这间后厨的完整备料流程，看懂数据采集如何决定一道「AI 大菜」的上限。

岗位关联

数据采集是 AI 项目的「第一公里」。掌握采集策略与质量控制，你才能告别「垃圾进、垃圾出」的返工循环，把数据的价值真正变成模型的竞争力。

目录
  1. 可视化演示
  2. 采集概念定位
  3. 主动采集技术
  4. 被动采集体系
  5. 合成数据扩增
  6. 质量清洗控制
  7. 标注版本管理
  8. 合规与成本优化
  9. AI 应用场景
  10. Python 演示
  11. 常见误区
  12. 面试题

可视化演示

本节配有交互动效（进入视口后自动加载，约 3KB）。

采集概念定位

顶级主厨不会一进菜市场就横扫货架。他会先翻开菜单：今晚招牌菜是什么、一共几桌客人、哪位食客忌口——然后才决定买什么、买多少。数据采集也一样，动手之前必须先「定位」：这次要解决什么科研问题，需要哪些数据，这些数据能从哪儿来。目标没定清楚就开爬虫、接传感器，就像没看菜单就买了半车萝卜，最后多半是浪费。

在 AI for Science 的自动化实验室里，采集目标由研究问题倒推：预测蛋白质结构需要海量氨基酸序列，筛选电池材料需要成组的充放电曲线，诊断疾病需要规范化的医学影像。目标定清楚之后，后面才有办法回答「什么时候算采够、哪些数据算合格、哪个来源该优先」。这就是为什么资深工程师总说：数据采集的源头不是服务器，而是研究问题本身。

科研数据大体有三个主要来源：实验测量（仪器直接读数）、公开资源（数据库、文献、开放平台）、运行记录（过程自然产生的日志与状态）。但无论哪个来源，都绕不开一条铁律——采样率原则。连续变化的物理量，采集频率必须跟得上它的变化节奏，否则高频细节会被「混叠」成错误的形状。这就好比用低帧率相机去拍高速旋转的风扇，叶片看起来竟在倒转，数据完全失真。

这就像主厨定好菜谱后，自然知道该盯紧哪个时段的食材供应：做日料要凌晨去抢鱼，做烘焙要提前一天备面粉。采样率原则帮你校准「盯梢的频率」，保证关键信息一帧不落，从源头守住数据质量的第一道关。

fs≥2fmax⁡\displaystyle f_s \ge 2 f_{\max}
奈奎斯特定理：采样频率至少要达到信号最高频率的两倍，才能无失真地还原原始信息。
  1. 认识采样频率 $f_s$它表示采集系统每秒钟记录多少个样本，是「多久看一眼数据」的节奏。
    fsf_s
  2. 认识最高频率 $f_{\max}$它表示被采集对象中变化最快成分的频率，是数据本身「动得有多快」的标尺。
    fmax⁡f_{\max}
  3. 组装完整不等式采样频率必须不小于两倍最高频率，否则高频信息就会丢失或失真。
    fs≥2fmax⁡\displaystyle f_s \ge 2 f_{\max}

主动采集技术

主动采集，是主厨挎着菜篮去市场定向采购——手里攥着清单，直奔熟悉的摊位，按计划把食材一样样拿下。菜市场里没有意外收获，但每一笔采购都在掌控之中。科研数据采集同样可以「主动出击」，不依赖运气，只依赖规划。

科研自动化里，主动采集指系统按预先写好的脚本主动获取数据：控制自动化实验平台设定配方矩阵、逐组测温读数；通过 API 向公共数据库发出查询、把结果拉回本地；对没有接口的网页，则用爬虫按规则抓取。这类采集的特点是「可预期」——采什么、采多少、何时采，都在脚本里写得明明白白。

主动采集的关键词是规划。脚本设计决定实验条件矩阵怎么布点，爬虫设计决定访问节奏与解析规则。但有个问题绕不开：到底采多少数据才算数？统计学给出了样本量公式，用来估算在给定置信水平与误差容忍度下至少需要的样本数。样本太少，结论像没放盐的汤，淡而无味；样本太多，则是机时与存储的双重浪费。

主厨在市场同样讲究「买够不买多」——买少了不够开席，买多了放坏反亏。样本量公式就是那个「够吃」的度量衡，让你把机时、带宽和存储花在刀刃上，不多不少，正好满足科研结论的可信度要求。

n=z2⋅p(1−p)e2\displaystyle n = \frac{z^2 \cdot p(1-p)}{e^2}
样本量公式：在 95% 置信水平（z≈1.96）下，若要误差不超过 3%，且预估比例 p=0.5，则约需 1068 个样本。
  1. 置信分位数 $z$它反映你对结论有多自信，95% 置信时取 1.96，要求越高，z 越大，样本需求越高。
    zz
  2. 比例方差 $p(1-p)$$p$ 是预估的事件比例，$p(1-p)$ 在 $p=0.5$ 时最大，代表最保守的情况。
    p(1−p)p(1-p)
  3. 误差容忍度 $e$它表示允许样本统计值与真实值差多少，$e$ 越小，结论越精细，所需样本越多。
    n=z2⋅p(1−p)e2\displaystyle n = \frac{z^2 \cdot p(1-p)}{e^2}

被动采集体系

被动采集是另一路风格：后厨天花板上挂着摄像头、灶台边装着温度探头，没人向它们汇报，但它们把每一次颠勺、每一秒火候都如实录入。主厨从来不需要「请求」监控录像，它就在那儿，无声流淌。

在科研场景里，实验箱的温湿度曲线、仪器运行状态、服务器访问日志，都是典型的被动数据。自动化实验平台不会主动「请求」环境记录，但运行过程天然产生这些痕迹——真正做到了「雁过留声，风过留痕」。相比主动采集的计划性，被动采集的价值在于完整与客观：不打扰实验过程，却覆盖所有细节。

被动数据是一类随机到达的事件流：日志记录何时出现、多久来一条，事先无法精确预测。泊松分布是描述这类事件的经典模型：用一个平均到达率 $\lambda$ 概括整体强度，再计算「一段时间内恰好出现 k 条记录」的概率。工程上常用它评估采集系统压力——如果某时段实际到达率远超 $\lambda$，就说明系统可能正经历异常风暴。

主厨从不刻意表演给摄像头看，可一旦某道菜翻车，回放录像往往比菜谱更能说明问题。被动采集的价值就在「无痕记录、事后复盘」，为科研事故的定位提供一条完整的证据链，也让实验过程的管理有了底气。

P(k)=λke−λk!\displaystyle P(k) = \frac{\lambda^k e^{-\lambda}}{k!}
泊松分布：当事件独立、随机且平均速率稳定时，固定时间内事件数服从泊松分布。
  1. 事件数 $k$它表示在某个固定时间窗内实际到达的记录条数，是我们要计算概率的目标。
    kk
  2. 平均到达率 $\lambda$它表示单位时间内事件的平均发生次数，是整个随机过程的「节奏基准」。
    λ\lambda
  3. 计算概率质量整个表达式给出恰好出现 $k$ 条事件的概率；$\lambda$ 越大、$k$ 偏离平均值越远，概率越小。
    P(k)=λke−λk!\displaystyle P(k) = \frac{\lambda^k e^{-\lambda}}{k!}

合成数据扩增

当市场买不到稀有食材时，主厨还有两条路：去温室里自己种，或在料理台上用分子技术合成近似口感。合成数据与数据增强，就是数据世界的「温室与料理台」。它们不依赖外部供应，就能把食材库越做越丰富。

AI for Science 中，物理仿真用真实物理定律在计算机里重演实验：分子动力学模拟生成蛋白构象，计算流体力学模拟生成气流分布。这些数据天然带物理标签，成本远低于真实实验。此外，生成对抗网络（GAN）能从已有小数据集学出分布，再产出逼真的新样本。两者都属于「无中生有」的合成路线。

数据增强则不改变采样来源，而是对已有样本做再加工。比如图像旋转、裁剪、加噪；数值数据可以用 Mixup——把两条样本按比例线性混合，标签也按同一比例混合。合成与增强的核心是扩大数据分布覆盖，让模型见过更多「变形但本质不变」的形态，从而提升泛化能力，缓解稀有样本不足的问题。

温室里的菜和田间菜营养略有差异，仿荤食材也不能完全替代真肉——合成数据的分布与真实数据总存在偏差，能否上桌必须经过真实性验证。用得好，它是救场利器；用不好，就是一锅夹生饭。

x^=λxi+(1−λ)xj\displaystyle \hat{x} = \lambda x_i + (1-\lambda)x_j
Mixup：将两条样本 $x_i$ 与 $x_j$ 按比例 λ 混合成新样本 $\hat{x}$，对应标签也做同样混合。
  1. 两条原始样本 $x_i$ 与 $x_j$它们从已采集的数据池中随机抽取，是合成新样本的「原料」。
    xi,xjx_i, x_j
  2. 混合比例 $\lambda$它取 0 到 1 之间的随机值，控制两条样本各占多少分量，相当于调味的配比。
    λ, 1−λ\lambda,\ 1-\lambda
  3. 输出新样本 $\hat{x}$加权相加后的结果，既不是 $x_i$ 也不是 $x_j$，而是介于两者之间的「过渡形态」。
    x^=λxi+(1−λ)xj\displaystyle \hat{x} = \lambda x_i + (1-\lambda)x_j

质量清洗控制

再新鲜的菜，下锅前也要摘黄叶、去烂根、冲泥沙。数据清洗就是后厨的第一道流水线，规则只有一个：谁都不能带着泥上灶台。这一步不产出新数据，却决定最终端上桌的菜能不能吃。

科研数据常见的「病」包括：重复样本（同一实验被记录两次）、缺失值（仪器断线）、离群点（传感器抖动）、口径偏差（两个实验室单位不统一）。这些脏数据一旦进入训练集，模型就会把噪声当成规律来学——这正是「垃圾进、垃圾出」的由来。就像一颗烂苹果混进果篮，整篮苹果都可能被传染。

清洗三板斧：第一斧去重，用哈希或相似度比对把重复样本合并；第二斧处理缺失值，按场景选择删除或插补；第三斧异常检测，用 Z-score 计算每个样本偏离整体的程度，偏离过大就送入人工复核队列。Z-score 把原始值标准化成「偏离了多少个标准差」，简单、通用，是入门异常检测的首选工具。

摘掉一片烂叶，最多费几秒钟；让烂叶进了汤锅，一桌客人的口碑就全砸了。清洗看似琐碎，却是决定模型「这锅汤」风味的守门员。数据科学家的工作里，最枯燥却最救命的一环，往往就是这些不起眼的挑拣动作。

z=x−μσ\displaystyle z = \frac{x - \mu}{\sigma}
Z-score：一个样本值偏离全体均值的程度，以标准差为单位；|z| 越大，越可能是异常。
  1. 样本值 $x$它是被检查的某条数据的取值，比如某次实验的测量结果。
    xx
  2. 均值 $\mu$ 与标准差 $\sigma$它们概括了整个数据集的中心位置与离散程度，是判断「正常范围」的基准。
    μ, σ\mu,\ \sigma
  3. 计算偏离度 $z$标准化后，$|z|$ 超过 2.5 或 3 的样本通常视为离群点，进入人工复核而不是直接删除。
    z=x−μσ\displaystyle z = \frac{x - \mu}{\sigma}

标注版本管理

洗好的食材要分装进贴了标签的密封盒：盐归盐，糖归糖，进库日期写清楚。不然做菜时拿错调料，今天和明天的味道全乱套。数据标注与版本管理，就是给食材贴上「身份标签」的工序。

原始数据必须经过标注才能训练监督模型：图像画框标出目标，光谱峰位标出化合物，文本片段标出实体。科研标注讲究规范统一——一份明确的标注规范文档，胜过十个标注员各自发挥。为了提效，主流做法是「模型预标注 + 人工校验」的人机协同：机器先标一遍，人只负责改错的地方，成本和时间都大幅下降。

多人参与标注时，质量必须量化把关。Cohen's Kappa 是衡量标注一致性的经典指标：它把「实际一致率」与「随机猜测也能一致的概率」做对比，扣掉运气成分后剩下的才是真实一致性。同时，数据集的版本管理要像账本一样可追溯：谁采集、谁清洗、谁标注、何时发布，全部记录在案，模型出问题时才能顺藤摸瓜。

老主厨的调料架永远整整齐齐——糖罐和盐罐绝不混放，日期倒序排列。成熟的 AI 实验室同样把数据集管得井井有条，任何一次「味道异常」都能顺藤摸瓜，查到是哪个环节、哪个版本、哪个标注员出了问题。

κ=po−pe1−pe\displaystyle \kappa = \frac{p_o - p_e}{1 - p_e}
Cohen's Kappa：κ 越接近 1，标注一致性越高；0.8 以上通常认为标注质量优秀。
  1. 实际一致率 $p_o$它表示两位标注者对同一批样本给出相同标签的比例，是「表面和谐度」。
    pop_o
  2. 偶然一致率 $p_e$它表示即使两人乱猜也会碰巧一致的概率，是需要扣掉的「运气成分」。
    pep_e
  3. 计算真实一致性分子扣掉运气，分母是扣掉运气后还能达到的满分，两者相除得到 κ。
    κ=po−pe1−pe\displaystyle \kappa = \frac{p_o - p_e}{1 - p_e}

合规与成本优化

最后，主厨还要过两关：供应商资质审核和采购预算控制。前者决定餐厅能不能活，后者决定活得好不好。数据采集到了这一步，就不再是技术问题，而是经营智慧。

数据合规是 AI 实验室的「食品安全」。爬虫抓取的内容不一定能商用，服务条款和 Robots 协议是硬约束；涉及人脸、基因组等敏感信息必须做匿名化或脱敏；差分隐私通过给统计结果加噪声，让攻击者难以推断某个具体个体是否在数据集中，从而在保护隐私的同时保留数据的统计价值。合规问题一旦爆雷，损失的不只是金钱，还有信誉。

预算维度上，采集不是越多越好。模型性能随数据量增长通常呈边际递减：新增数据的收益越来越小，而采集、标注、存储的成本却线性上升。用 ROI 公式做决策，只有当「新增数据带来的准确率提升」跑得过「采集总成本」时，才值得继续扩容。否则，把预算花在调参、换架构或优化特征上，回报往往更高。

会过日子的主厨，既守得住食品安全底线，又算得清每道菜的毛利。数据采集的终点不是「越多越好」，而是「合规、够用、划算」——这才是可持续经营之道，也是 AI 实验室从「烧钱」走向「造血」的关键。

ROI=ΔAccC采集\displaystyle \text{ROI} = \frac{\Delta \text{Acc}}{C_{\text{采集}}}
数据采集 ROI：用模型准确率的提升量除以采集总成本，衡量每一块钱换来了多少性能收益。
  1. 性能提升 $\Delta \text{Acc}$它表示新增数据在验证集上带来的准确率增量，是收益侧的度量。
    ΔAcc\Delta \text{Acc}
  2. 采集总成本 $C_{\text{采集}}$它包含采集、清洗、标注、存储的完整开销，是投入侧的度量。
    C采集C_{\text{采集}}
  3. 计算 ROI 并做决策比值越高越值得扩容；当 ROI 持续下降、低于其他优化手段时，就该停手。
    ROI=ΔAccC采集\displaystyle \text{ROI} = \frac{\Delta \text{Acc}}{C_{\text{采集}}}

AI 应用场景

高通量材料实验的自动化采集

阶段：数据工程（主动采集 + 被动采集）

解决的问题：传统材料实验靠研究人员手动记录参数，一次实验涉及成百上千个条件，效率低且容易漏记。自动化平台用脚本主动控制实验仪器读取数据，同时把环境温湿度与设备状态自动写入日志，两路数据自动汇入统一存储，从源头杜绝手工台账的错漏。

具体案例：某电池研究团队的 AI 实验室每天自动完成 300 组配方实验，电化学传感器每 0.5 秒上报一次读数，原始数据自动携带批次号与时间戳入库。训练数据规模较人工时代扩大 50 倍，模型预测配方性能的误差下降 30%。

药物虚拟筛选的合成数据扩增

阶段：数据合成与增强

解决的问题：某些分子构象在真实实验中极难观测，样本稀缺导致模型过拟合、泛化差。利用分子动力学仿真在计算机里生成大量带物理标签的构象数据，再用 Mixup 对边界样本做插值，把稀疏的小数据集扩成分布连续的大数据集。

具体案例：某药企用物理仿真生成 200 万条蛋白-配体结合构象，与真实实验数据按比例混合训练打分模型，虚拟筛选命中率提升 40%，后期湿实验验证成本节省过半。

跨科室科研数据的统一治理

阶段：数据清洗与合规审查

解决的问题：多个课题组上报的数据格式不一、重复样本多、还夹杂受试者隐私。建立统一清洗流水线执行去重、异常检测与缺失值插补，再通过差分隐私完成脱敏发布，让数据「干净且合规」地进入模型训练。

具体案例：某医院 AI 实验室汇聚 5 个科室的影像与检验数据，清洗流水线剔除 23% 的重复和异常记录，去标识化后模型训练稳定性明显提升，并顺利通过伦理审查。

Python 演示

python83 行
import mathimport random  class DataCollector:    """Simulate the data collection pipeline of an AI lab."""     def __init__(self, bad_rate=0.15, z_threshold=2.5):        self.bad_rate = bad_rate        self.z_threshold = z_threshold        self.pool = []          # 合格数据池        self.reject_list = []   # 被拦截的脏数据        self.good_count = 0        self.bad_count = 0     def active_collect(self, n):        """Actively pull samples from a simulated sensor."""        for _ in range(n):            value = random.gauss(50, 10)  # 模拟传感器读数            self._feed(value, random.random() < self.bad_rate)     def passive_collect(self, log_lines):        """Passively ingest samples from instrument logs."""        for line in log_lines:            try:                value = float(line.split(':')[1])  # 解析日志中的数值            except (IndexError, ValueError):                value = None            self._feed(value, random.random() < self.bad_rate)     def synth_mix(self, n):        """Synthesize new samples by Mixup interpolation."""        for _ in range(n):            if len(self.pool) < 2:                break            a = random.choice(self.pool)            b = random.choice(self.pool)            lam = random.random()            value = lam * a + (1 - lam) * b            self._feed(value, False)     def _feed(self, value, is_bad):        """Route every sample to the pool or the reject list."""        if value is None or is_bad:            self.reject_list.append(value)            self.bad_count += 1            return        self.pool.append(value)        self.good_count += 1     def clean(self):        """Quality control: drop outliers by z-score."""        if len(self.pool) < 2:            return        mean = sum(self.pool) / len(self.pool)        var = sum((x - mean) ** 2 for x in self.pool) / len(self.pool)        std = math.sqrt(var) or 1.0        keep = [x for x in self.pool if abs(x - mean) / std <= self.z_threshold]        self.bad_count += len(self.pool) - len(keep)        self.pool = keep        self.good_count = len(keep)     def report(self):        total = self.good_count + self.bad_count        rate = self.good_count / total * 100 if total else 0.0        print("qualified: %d, rejected: %d, pass rate: %.1f%%" % (self.good_count, self.bad_count, rate))        if self.pool:            mean = sum(self.pool) / len(self.pool)            print("pool mean: %.2f, pool size: %d" % (mean, len(self.pool)))  def main():    collector = DataCollector()    collector.active_collect(60)    logs = ["sensor:%.2f" % random.gauss(50, 10) for _ in range(40)]    collector.passive_collect(logs)    collector.synth_mix(30)    collector.clean()    collector.report()  if __name__ == "__main__":    main()
目的：模拟 AI 实验室的完整数据采集流水线——主动采集、被动采集、Mixup 合成、Z-score 清洗，并输出通过率报告。
  1. collector.active_collect(60)主动发起 60 次传感器读数采集，相当于主厨定向采购。
  2. value = random.gauss(50, 10)模拟传感器围绕均值 50 上下波动地产生读数。
  3. self._feed(value, random.random() < self.bad_rate)按 15% 的坏数据率决定每条样本是否被拦截。
  4. value = float(line.split(':')[1])从「sensor:45.23」样式的日志行中解析出数值部分。
  5. value = lam * a + (1 - lam) * bMixup 线性混合两条现有样本，合成新样本。
  6. abs(x - mean) / std <= self.z_threshold用 Z-score 判断样本是否离群，超阈值即剔除。
  7. if __name__ == "__main__":提供可执行入口，直接运行即可看到完整流水线结果。

常见误区

误区数据采集就是多多益善。脏一点没关系，反正模型能吃下大批量数据，数量上去了，准确率自然就上去了。

正解数据质量决定模型上限，一条系统性错误的样本可能引导模型学到虚假规律。就像一颗烂菜叶混进汤锅，一锅好汤全毁。数据必须先经过去重、异常检测、缺失值处理，合格后才能进入训练集。「垃圾进、垃圾出」是 AI 界最贵的一课。

为何常见：大模型时代「规模即正义」的宣传深入人心，让很多人误以为数量可以弥补质量，忽略了科研数据特有的高噪声特性。

误区只要技术能爬到，数据就是公开的。下载下来直接训练模型、甚至商用，都是理所当然的事。

正解公开可见不等于可自由商用。Robots 协议、网站服务条款、数据版权和个体隐私都构成约束。采集前必须确认授权范围，涉及个人信息时还要匿名化或取得用户同意。合规问题一旦爆雷，轻则下架模型，重则面临诉讼。

为何常见：把「技术可行」等同于「法律允许」，是爬虫工具普及后最常见的认知偏差。

误区仿真生成的和 Mixup 混合出来的都是「假数据」，没有真实观测支撑，训练出来的模型肯定不可靠。

正解物理仿真与 Mixup 等增强手段在分布合理时能显著提升泛化能力，尤其在真实样本稀缺的场景下几乎是唯一解。但前提是必须验证合成分布与真实分布的偏差，偏差过大时确实会带偏模型。它们是「温室蔬菜」，营养可控，但不能完全替代田间种植。

为何常见：人们容易混淆「伪造事实」与「科学的数据扩增方法」，前者是造假，后者是经过统计学验证的工程手段。

误区清洗没什么技术含量，无非是看到空值就删、看到重复就去，让实习生跑个脚本就能完成。

正解清洗涉及去重、异常检测、单位统一、偏差修正等多个步骤，策略选择不当会引入新的系统性偏差。比如直接删除缺失值可能破坏数据分布，Z-score 阈值定错可能误杀正常样本。清洗决定模型上限，值得资深工程师亲自把关。

为何常见：清洗不像建模那样「有面子」，容易被当成体力活，直到模型在线上翻车才追悔莫及。

误区标注是纯体力活，去众包平台找最便宜的劳动力，人海战术堆上去，标注自然又快又省。

正解低质标注会直接拉低模型天花板。需要统一的标注规范、人机协同预标注加校验，并用 Kappa 等指标量化一致性。就像调料分装没贴标签，后厨必乱；标注没有质控，模型必歪。

为何常见：众包平台的低价竞争让标注看起来像纯体力活，低估了领域知识和对齐规范在其中的关键作用。

面试题

Q1. 数据采集的奈奎斯特定理指出，采样频率至少应为数据最高频率的几倍？

单选题 · easy

  • A.1 倍
  • B.2 倍← 正确答案
  • C.4 倍
  • D.8 倍

答案：B。奈奎斯特定理要求采样频率不低于最高频率的两倍，这是数据采集的「最低帧率」。低帧率拍高速风扇会看到倒转，采样率不足也会让高频信号混叠成假象，因此选 2 倍。

Q2. 下列属于主动采集方式的是？

单选题 · easy

  • A.服务器日志记录
  • B.摄像头监控录像
  • C.脚本控制仪器测量← 正确答案
  • D.用户后台点击流

答案：C。脚本控制仪器测量是系统主动发起的数据获取，对应主厨挎篮去市场定向采购；日志、监控、点击流都是「不请自来」的被动记录，系统并没有主动请求它们。

Q3. 某实验系统平均每分钟产生 5 条事件日志，使用泊松分布可以回答什么问题？

单选题 · mid

  • A.某分钟内恰好出现 3 条事件的概率← 正确答案
  • B.日志文件总共占用多少磁盘空间
  • C.各服务器负载高低的排序情况
  • D.事件平均值和中位数是否相等

答案：A。泊松分布描述固定时间内随机事件到达次数的概率。已知平均 λ=5，可计算「某分钟恰好 3 条」的概率，用于评估采集压力；磁盘空间、负载排序、均值比较都不是泊松模型能直接回答的。

Q4. 关于 Mixup 数据增强，下列说法正确的有？

多选题 · mid

  • A.新样本是两条样本的线性混合← 正确答案
  • B.标签与特征用相同的混合比例← 正确答案
  • C.只能用于图像一种数据模态
  • D.λ 的取值范围在 0 到 1 之间← 正确答案

答案：ABD。Mixup 把两条样本按 λ 与 1-λ 线性加权，标签也按同一比例混合，λ 取自 0 到 1 之间；它不止用于图像，文本、表格同样适用，因此 C 错误。

Q5. Z-score 异常检测中，某样本计算得 z=3.2，阈值为 2.5，应如何处理？

单选题 · mid

  • A.视为异常，进入复查← 正确答案
  • B.直接保留并用于训练
  • C.忽略阈值直接删除
  • D.把阈值调高到 3.5

答案：A。z=3.2 超过阈值 2.5，说明该样本偏离均值超过 3 个标准差，属于离群点。按流程应进入人工复核而非直接删除或保留；私自调阈值让「异常变正常」是典型的自欺欺人。

Q6. Cohen's Kappa 系数主要用于衡量什么？

单选题 · mid

  • A.标注人员之间的一致性← 正确答案
  • B.模型在测试集上的准确率
  • C.数据集采集速度的快慢
  • D.特征与标签的相关程度

答案：A。Kappa 扣除随机猜测因素后衡量标注者之间的一致性，就像检查两位管理员分装调料时是否分得一致。它与模型准确率、采集速度、特征相关性都无关。

Q7. 样本量公式 n=z²p(1-p)/e² 中，e 越小，所需样本量会？

单选题 · hard

  • A.随着 e 减小而增大← 正确答案
  • B.随着 e 减小而减小
  • C.与 e 的大小无关
  • D.先增大再保持不变

答案：A。由公式 n=z²p(1-p)/e²，e 位于分母且带平方，e 越小分母越小、n 越大。就像菜谱要求误差越精细，需要的食材样本越多，这是主动采集规划的核心依据。

Q8. 差分隐私技术给查询结果添加噪声的主要目的是？

单选题 · hard

  • A.防止单个样本被反推出← 正确答案
  • B.提高模型训练的速度
  • C.压缩数据集存储空间
  • D.增加数据的多样性

答案：A。差分隐私通过加噪让单个个体是否在数据集中难以被推断，像是给采购台账的供应商信息打码后再公开；它与训练速度、存储压缩、数据多样性无关。

Q9. 数据清洗流水线通常包含哪些操作？

多选题 · easy

  • A.重复样本去重← 正确答案
  • B.缺失值插补← 正确答案
  • C.离群点检测← 正确答案
  • D.模型超参调优

答案：ABC。去重、缺失值插补、离群点检测是清洗三板斧，对应摘黄叶、去烂根、冲泥沙；模型超参调优属于训练环节，与数据清洗无关。

Q10. 关于合成数据与数据增强，下列说法正确的有？

多选题 · extreme

  • A.可缓解稀有样本不足问题← 正确答案
  • B.可能引入分布偏差需验证← 正确答案
  • C.可以完全替代真实数据采集
  • D.物理仿真是合成数据的一种← 正确答案

答案：ABD。合成数据与增强能缓解稀有样本不足，但合成分布与真实分布存在偏差，必须验证后才能使用，不能完全替代真实采集；分子动力学等物理仿真属于典型的合成数据来源。