在云雾缭绕的青山深处,护林员老周长年穿梭于林间,靠一双肉眼、一对耳朵点数动物。可大山太大了——野猪夜行、猕猴上树、候鸟迁徙,单靠人眼永远看不全。这篇指南要介绍一套“电子守林人”:在森林里布置声学传感器(顺风耳)和红外相机(火眼金睛),再训练一位AI学徒同时处理声音与图像,替老周完成大山普查。文中会依次讲清为什么从人工走向AI、声学与图像如何各显神通、AI学徒怎么拜师学艺、两位专家如何会诊,以及这套系统如何在深山里扛过风雨雷电。读完你会理解,AI如何让生物多样性监测从“七天翻越几座山”变成“全天候看护整片森林”。

岗位关联

掌握AI驱动的生物多样性监测,能让AI从业者把声学识别、图像检测、多模态融合等核心技能落地到环境保护领域,抢占"AI for Science"的蓝海赛道。

目录
  1. 可视化演示
  2. 监测转型背景
  3. 声学识别原理
  4. 图像识别技术
  5. 数据训练流程
  6. 多模态融合
  7. 部署与挑战
  8. AI 应用场景
  9. Python 演示
  10. 常见误区
  11. 面试题

可视化演示

展示声学与图像AI监测流程、多模态融合识别能力雷达及不同监测方法精度效率对比。

本节配有交互动效(进入视口后自动加载,约 3KB)。

声学+图像监测流程 声学传感器采集音频,图像设备捕捉视觉数据 多模态融合提升复杂环境下的识别精度 Acoustic + Image → Fusion → Species 双模态互补覆盖全天候监测需求

监测转型背景

老周当了三十年护林员,最引以为傲的是一双“鹰眼”和一对“顺风耳”。可去年大山普查,他和同事组队走了七天山路,靠着望远镜记录,只数出 37 种鸟。而邻省保护区派了几名技术员,在林间装上上百个录音盒子和几十台红外相机,一个月后电脑打出的报告赫然列着 120 多种鸟兽。老周第一次意识到,血肉之躯再能走,在大山面前也只是一支“点射步枪”,AI 监测才是“全天候雷达”。

传统人工监测本质上是“目击计数法”:靠人在特定时间、特定路线记录看到的物种。这既受光线、天气、地形限制,又依赖巡护员个人经验。更关键的是,野生动物大多怕人,人一走近就躲起来,存在系统性漏报。要让监测从“抽查”变成“普查”,必须把感官延伸到森林的每个角落。

AI 监测的核心思路是把“人盯人”换成“传感器+模型”。声学传感器能 24 小时收录环境声音,红外相机可捕捉体温差异而不惊扰动物,模型自动从海量数据中识别物种。先看一个简单模型:如果一次巡护发现某物种的概率只有 0.1,那么巡护 10 次,累计发现概率是多少?

把 p=0.1、n=10 代入,累计发现概率只有 65%;哪怕巡护三十次,也还有 4% 的物种会被永远错过。这正是老周七天走山的必然结局——不是他不够努力,而是人的采样天生稀疏。AI 传感器阵列的“巡护次数”是每秒上百次,把“漏掉概率”压缩到了极限。

Pdetect=1−(1−p)n\displaystyle P_{detect} = 1 - (1-p)^{n}
这是“多次独立尝试”的概率模型:就像抽奖,单次中奖率低,多抽几次中奖率上升,但永远到不了 100%。
  1. 单次发现率 pp 代表护林员在一次巡护中目击某物种的概率,数值介于 0 和 1 之间
    p\displaystyle p
  2. 单次漏掉率 1-p1-p 表示单次巡护没能发现的概率,相当于“本次扑空”
    1−p\displaystyle 1-p
  3. n 次连续扑空(1-p)^n 是连续 n 次巡护都一无所获的概率,指数表示反复落空的可能性
    (1−p)n\displaystyle (1-p)^{n}
  4. 累计发现概率用 1 减去“全部落空”的概率,得到的 P_detect 就是至少发现一次的概率
    Pdetect=1−(1−p)n\displaystyle P_{detect} = 1 - (1-p)^{n}

声学识别原理

老周最羡慕的动物是猫头鹰——夜里也能听清草丛里老鼠的动静。AI 的声学监测就是给森林装上无数只“猫头鹰耳朵”,学名叫声学传感器。它们不怕天黑、不惧雨雾,把森林里每一段鸟鸣虫叫都录制下来。

声音本质上是空气的疏密波,麦克风每秒采样成千上万次,得到一条振幅随时间变化的波形。可波形对计算机来说太“朴素”,就像老周听鸟叫只觉得悦耳,却说不出频率。科学家发明了短时傅里叶变换(STFT),把一段声音切成小段,逐段分析里面每种频率的成分,最终得到一张“声谱图”——横轴是时间,纵轴是频率,颜色深浅代表能量大小。

声谱图把声音翻译成图像,这样 AI 就能用图像识别的方法去“看”声音。STFT 的数学表达为:将信号 x(n) 乘上窗口函数 w(n-t),再做离散傅里叶变换,得到时频矩阵 X(f,t)。

有了声谱图,AI 学徒就像老周拿到了鸟类的“声纹档案”:白喉矶鸫的歌在 3~6kHz 有一串下行的弧线,黄腹山雀的叫声在 5kHz 左右有一段密集碎点。这些图案特征被卷积神经网络自动学习,从此“听声辨鸟”不再是老周的独门绝技。

X(f,t)=∑n=0N−1x(n)⋅w(n−t)⋅e−j2πfn/N\displaystyle X(f,t) = \sum_{n=0}^{N-1} x(n) \cdot w(n-t) \cdot e^{-j2\pi fn/N}
可以把公式理解为“把一段声音拆成一堆正弦波的组合”,某种频率的成分越强,声谱图上对应位置就越亮。
  1. 音频采样 x(n)x(n) 是麦克风每隔固定时间捕获的声音振幅,是声音最原始的“数字底片”
    x(n)\displaystyle x(n)
  2. 窗口函数 w(n-t)w(n-t) 只保留 t 附近一小段采样点,类似把书签夹在声音中间,只读这一页,算完再翻下一页
    w(n−t)\displaystyle w(n-t)
  3. 复指数核 e^{-j2πfn/N}复指数是“频率探测器”,专挑频率为 f 的成分,其他频率一概忽略
    e−j2πfn/N\displaystyle e^{-j2\pi fn/N}
  4. 求和遍历对窗口内 N 个采样点逐一乘上探测器再求和,得到该窗口内频率 f 的能量有多强
    ∑n=0N−1\displaystyle \sum_{n=0}^{N-1}
  5. 声谱图 X(f,t)把所有窗口、所有频率的结果拼成一张图,就是 AI 眼中的“声音照片”
    X(f,t)\displaystyle X(f,t)

图像识别技术

耳朵够灵了,眼睛也不能瞎。老周巡山时最爱靠“蹲守”看动物,可蹲一天可能连个影子都见不着。红外相机(业内俗称“相机陷阱”)解决了这个难题:它像一台守株待兔的相机,只要感知到温血动物经过,就自动触发快门。

相机陷阱部署在兽道、水源地旁,一次充电可工作数月,积累下海量照片。但照片多了也有烦恼——一万张里可能只有三百张有动物,更多是晃动的树枝、巡逻的护林员。这就轮到目标检测模型登场了。

目标检测模型(如 YOLO、Faster R-CNN)给照片里的动物画框并打标签。判断画框画得好不好,用交并比(IoU)指标来衡量:

有了目标检测,老周的“蹲守”被解放了。相机陷阱像一排不知疲倦的眼睛贴在林间,把每一头路过的金丝猴、豹猫都拍成带框标定好的“登记照”,AI 再按物种特征归类存档。从此,老周的工作从“追着动物跑”变成“在屏幕前翻图册”。

IoU=Apred∩AgtApred∪Agt\displaystyle IoU = \frac{A_{pred} \cap A_{gt}}{A_{pred} \cup A_{gt}}
这个指标像考试评分:预测框和真实框重合越多,得分越高;完全重合得 1.0,完全错开得 0。
  1. 预测框 A_predA_pred 是模型画出的目标框位置,相当于 AI 考生写的“答案区间”
    Apred\displaystyle A_{pred}
  2. 真实框 A_gtA_gt 是研究员手动标注的动物真实位置,相当于阅卷老师的“标准答案”
    Agt\displaystyle A_{gt}
  3. 交集运算 ∩两个框重叠的面积,重叠越大说明模型猜得越接近标准答案
    Apred∩Agt\displaystyle A_{pred} \cap A_{gt}
  4. 并集运算 ∪两个框覆盖的总面积,包括重叠部分和各自独有的部分
    Apred∪Agt\displaystyle A_{pred} \cup A_{gt}
  5. 比值交集除以并集,IoU 越接近 1 说明定位越精准,通常 IoU > 0.5 就算检测成功
    IoU=Apred∩AgtApred∪Agt\displaystyle IoU = \frac{A_{pred} \cap A_{gt}}{A_{pred} \cup A_{gt}}

数据训练流程

AI 学徒不是天生会认鸟认兽的。老周刚开始带徒弟时,要指着图册一张张教:“这是金丝猴,脸是蓝的;这是藏羚羊,角是弯的。”AI 的训练也一模一样——先拿大量标注好的图像和声谱图喂给模型,让它自己总结规律。

训练数据从哪里来?靠“人工标注”:生态学家把相机陷阱照片里的动物框出来并标注物种名,把鸟鸣录音切成片段标注种类。一个中型项目需要数万张标注图、数千段标注音频,工作量巨大。为了在有限数据上学得好,工程上常用数据增强(随机翻转、裁剪、加噪、变速)扩充样本。

模型训练的目标是最小化“预测错误”。对于分类任务,最常用的损失函数是交叉熵损失:

训练就像老周给徒弟出题再批改:模型预测错了,损失值变大,反向传播悄悄调整内部参数,让下次更接近正确答案。如此反复数万轮,AI 学徒终于从“看啥都像猴”进化成“一眼看出这是滇金丝猴还是川金丝猴”。

L=−1N∑i=1N∑c=1Cyi,clog⁡(y^i,c)\displaystyle L = -\frac{1}{N} \sum_{i=1}^{N} \sum_{c=1}^{C} y_{i,c} \log(\hat{y}_{i,c})
交叉熵衡量“模型猜的分布”与“真实分布”的差距:模型越自信且猜得越对,损失越小;模型越自信却猜错,损失惩罚越大。
  1. 真实标签 y_i,c第 i 个样本属于第 c 类的真实标志,是一张“标准答案表”,属实则记 1,否则记 0
    yi,c\displaystyle y_{i,c}
  2. 预测概率 ŷ_i,c模型推断第 i 个样本属于第 c 类的概率,数值在 0~1 之间,代表“AI 的信心值”
    y^i,c\displaystyle \hat{y}_{i,c}
  3. 对数惩罚项 log(ŷ)对预测概率取对数,将 [0,1] 映射到 [-∞,0],正确且自信时惩罚接近 0,错得离谱时惩罚趋近无穷
    log⁡(y^i,c)\displaystyle \log(\hat{y}_{i,c})
  4. 双重求和把 N 个样本、C 个类别的惩罚全部加总,再除以 N 求平均,得到一批数据的平均损失
    1N∑i=1N∑c=1C\displaystyle \frac{1}{N}\sum_{i=1}^{N}\sum_{c=1}^{C}
  5. 负号因为 log 值为负数,加负号后损失为正数,梯度下降才能往“最小化损失”方向迭代
    L=−1N∑i=1N∑c=1Cyi,clog⁡(y^i,c)\displaystyle L = -\frac{1}{N} \sum_{i=1}^{N} \sum_{c=1}^{C} y_{i,c} \log(\hat{y}_{i,c})

多模态融合

老周有个习惯:听到树上有动静,他会先停下脚步竖起耳朵,再看一眼树上是什么。眼睛和耳朵同时工作,互相印证,才敢下结论。多模态融合就是这个思路的机器版——声学模型和图像模型各自发表意见后,系统再综合判断。

在真实森林里,单一模态各有短板:声学模型容易被风声、流水声干扰,图像模型在夜间或树叶遮挡时失明。如果两个模型都说“这是金丝猴”,可信度极高;如果声学说金丝猴、图像说猕猴,就该让系统裁决。

工程上最简单的融合方法是置信度加权融合:给声学模型一个权重 α,给图像模型一个权重 1-α,两个模型的类别概率加权求和,取最大值对应的类别作为最终预测:

在更复杂的监测系统中,两个模型还会先做“时间对齐”——把同一时刻的鸟鸣和身影配对,再分成“强证据组合”和“弱证据组合”:强组合直接采信,弱组合降级为“存疑待查”。老周长年的经验由此被写进系统,成了 AI 的“会诊规矩”。

Pfinal(s)=α⋅Paudio(s)+(1−α)⋅Pimage(s)\displaystyle P_{final}(s) = \alpha \cdot P_{audio}(s) + (1-\alpha) \cdot P_{image}(s)
这就像两位专家会诊后表决:权重越大的专家,发言权越大;最终票数最高的物种当选。
  1. 声学置信度 P_audio(s)声学模型认为目标属于物种 s 的概率,是“顺风耳”投给 s 的一票
    Paudio(s)\displaystyle P_{audio}(s)
  2. 图像置信度 P_image(s)图像模型认为目标属于物种 s 的概率,是“火眼金睛”投给 s 的一票
    Pimage(s)\displaystyle P_{image}(s)
  3. 权重 αα 表示信任声学证据的程度,取值范围 0~1,通常由验证集上的单模精度决定
    α\displaystyle \alpha
  4. 互补权重 1-α图像证据的可信度权重,两个权重相加恒等于 1,保证总票数均衡
    1−α\displaystyle 1-\alpha
  5. 加权求和两位专家按权重汇总票数得到最终概率,选择概率最高的物种作为识别结果
    Pfinal(s)=α⋅Paudio(s)+(1−α)⋅Pimage(s)\displaystyle P_{final}(s) = \alpha \cdot P_{audio}(s) + (1-\alpha) \cdot P_{image}(s)

部署与挑战

深山老林不是机房。老周见过太多“实验室里好好的,一上山就罢工”的设备——雨淋三天电路板锈了,冬天电池掉电快,4G 信号在林谷里彻底消失。AI 监测系统要真正落地,必须适应“没电、没网、没人管”的苛刻环境。

部署方案通常采用“边缘计算+云端平台”两级架构。边缘端在传感器旁放一块低功耗开发板,本地完成推理,只把几 KB 的识别结果通过卫星或窄带物联网传回云端。云端负责汇总各点位数据、训练新模型、生成物种分布报表。

评估部署效果不能只看识别“准不准”,还要看“漏没漏”。生态监测常用 F1 分数平衡精确率与召回率:

老周的愿望终于实现了:山顶的太阳能板供着低功耗设备,丛林深处的红外相机传回金丝猴家族的行踪报告,河流边的声学节点记录着一年四季的鸟鸣档案。系统经过暴雨、寒潮、泥石流的轮番考验,鲁棒性越来越强。老周常跟年轻人说:“以前是我巡山,现在是山自己开口说话了。”

F1=2×Precision×RecallPrecision+Recall\displaystyle F1 = \frac{2 \times Precision \times Recall}{Precision + Recall}
想象一张渔网:精确率是捞上来的鱼里有多少是想要的,召回率是想要的鱼里有多少被捞上来了。F1 把两个指标捏成一个分数。
  1. 精确率 Precision模型识别出的结果中真实正确的比例,等于真阳性 TP 除以真阳性加假阳性 FP,衡量“报出来的对不对”
    Precision=TPTP+FP\displaystyle Precision = \frac{TP}{TP + FP}
  2. 召回率 Recall真实存在的目标中被模型找回来的比例,等于真阳性 TP 除以真阳性加漏报数 FN,衡量“漏掉的多不多”
    Recall=TPTP+FN\displaystyle Recall = \frac{TP}{TP + FN}
  3. 调和平均F1 对 Precision 和 Recall 取调和平均,只有两个指标都高时 F1 才高,防止模型偏科
    F1=2×Precision×RecallPrecision+Recall\displaystyle F1 = \frac{2 \times Precision \times Recall}{Precision + Recall}

AI 应用场景

保护区物种自动化普查

阶段:数据采集与模型部署

解决的问题:传统人工调查需要数月的野外考察、派出大量专家、花费高且漏报率高;AI 声学+图像监测实现 7×24 小时自动化普查,一个月产出完整物种清单,识别结果由少量专家复核即可。

具体案例:云南某保护区部署 120 个声学节点和 80 台红外相机,覆盖 5 万亩林区,自动识别出 127 种鸟类和 23 种兽类,其中 3 种为珍稀物种,人工复核一致率达 94%,整体成本仅为传统调查的三分之一。

盗猎预警与珍稀物种守护

阶段:模型推理与实时告警

解决的问题:盗猎者常在夜间活动,人工巡逻无法全天覆盖;红外相机+声学传感器联动,识别到枪声或异常人影时实时预警。

具体案例:非洲某国家公园部署“声学+图像”联动预警系统,枪声识别在 3 秒内触发短信告警,结合红外相机图像确认人员位置,一年内协助拦截 12 起盗猎未遂事件,有效守护了犀牛和大象种群。

Python 演示

python42 行
import mathimport random # 简化的物种名录SPECIES = ["白喉矶鸫", "川金丝猴", "藏羚羊"] def audio_feature():    """模拟声学特征:10维声纹向量"""    return [random.random() for _ in range(10)] def image_feature():    """模拟图像特征:10维形态向量"""    return [random.random() for _ in range(10)] def profile_probs(feature, profiles):    """基于距离打分并归一化,模拟模型softmax输出"""    scores = []    for p in profiles:        dist = math.sqrt(sum((a - b) ** 2 for a, b in zip(feature, p)))        scores.append(1.0 / (1.0 + dist))    total = sum(scores)    return [s / total for s in scores] def run_monitor(alpha=0.6):    """一次完整的多模态监测:声学+图像加权融合"""    audio_profiles = [[random.random() for _ in range(10)] for _ in SPECIES]    image_profiles = [[random.random() for _ in range(10)] for _ in SPECIES]     p_audio = profile_probs(audio_feature(), audio_profiles)    p_image = profile_probs(image_feature(), image_profiles)    p_fused = [alpha * a + (1 - alpha) * b for a, b in zip(p_audio, p_image)]     idx = max(range(len(p_fused)), key=lambda i: p_fused[i])    print("声学专家意见:", [round(p, 2) for p in p_audio])    print("图像专家意见:", [round(p, 2) for p in p_image])    print("融合最终判断:", SPECIES[idx], "置信度", round(p_fused[idx], 2))    return idx if __name__ == "__main__":    for i in range(3):        print(f"=== 第 {i + 1} 次监测 ===")        run_monitor()
目的:模拟声学与图像双模型对野生目标的识别过程,演示多模态加权融合如何综合两位“AI专家”的意见做出最终分类判断。
  1. def profile_probs(feature, profiles):把特征向量与各物种模板对比,算出“像谁”的概率分布,这是声纹/图像分类器的最小实现。
  2. scores.append(1.0 / (1.0 + dist))特征距离越近得分越高,用距离的反函数模拟模型置信度打分。
  3. p_fused = [alpha * a + (1 - alpha) * b for a, b in zip(p_audio, p_image)]多模态加权融合的核心一行,实现置信度加权求和。
  4. idx = max(range(len(p_fused)), key=lambda i: p_fused[i])挑出综合置信度最高的物种下标,即最终识别结论。
  5. if __name__ == "__main__":保证模块既可独立运行,也能被其他脚本 import 后复用。

常见误区

误区我觉得 AI 识别物种就是拿录音和照片去数据库里搜,比对相似度然后输出名字,原理和百度识图差不多。

正解AI 不是简单查字典。声学/图像模型通过卷积神经网络自动从原始声谱图、照片像素中学习特征层级。模型学到的不是“和哪张照片像”,而是物种间深层判别边界(如金丝猴脸部蓝色的色相范围、鸟鸣在频域的能量包络形状)。更准确的说法是:AI 看过十万个样本后总结出了“什么是金丝猴”的规律,而非翻相册找同款。

为何常见:人识别物种本来依靠回忆相似经验,所以容易把 AI 理解成数据库检索;模型输出可解释性弱,也强化了“黑盒比对”的错觉。

误区既然 AI 靠数据驱动,那就多拍多录,把能采集的数据全丢给模型训练,数据量上去了精度自然就高了。

正解数据质量比数量更关键。真实生态数据高度不均衡:常见鸟占 90%,珍稀鸟只出现几次,模型会严重偏科。正确做法是数据清洗(去掉模糊低质样本)、类别均衡采样(让各类样本量接近)、数据增强(翻转/裁剪/加噪)。否则模型会沦为“常见种识别器”,对濒危物种视而不见。

为何常见:AI 行业天天讲“数据驱动”,小白容易理解成“有数据就有模型”,忽略了生态数据天然长尾分布的特性。

误区两个传感器加一起总比一个准吧?把声学和图像的模型结果拼接起来就完事了。

正解融合要讲究时机与策略。如果音频和图像证据没有时间对齐(鸟叫在 3 秒前,照片在 3 秒后),融合反而引入噪声。另外,若声学模型本身精度很低(如 55%),给它分配 0.7 的大权重,会把图像模型 90% 的准确率拉低。正确的融合要考虑模态可靠性、时空对齐和场景条件,在验证集上动态调节权重。

为何常见:"1+1>2"的直觉很普遍;新手只看融合架构图,忽略了模型质量差异和时序同步这些工程细节。

误区训练好的模型直接用云端 API 不就行了吗?森林里只要把数据传回云端识别,不用操心别的。

正解深山组网带宽极小且不稳定,传输视频、音频原始数据根本不现实。标准做法是边端部署轻量化模型(量化、剪枝),在设备本地推理只回传文本结果;同时用太阳能+大电池解决供电,用防水防尘外壳对抗雨雾。忽略这些,再好的模型也会在雨季“罢工”。

为何常见:“云–端”架构是互联网公司的常见范式,小白容易忽略带宽、供电、物理环境等部署约束,以为算法到处都能跑。

面试题

Q1. 传统人工监测“目击计数法”的核心瓶颈是什么?

单选题 · easy

  • A.护林员体力有限,无法在大范围持续巡视← 正确答案
  • B.模型算力不足,无法处理海量原始数据
  • C.传感器价格太高,普及率仍然偏低
  • D.数据标注成本过高,人工复核耗时长

答案:A。目击计数法靠人巡回观察,覆盖范围小、时段短,且动物怕人、易躲藏,因此系统性漏报。B/C/D 都是 AI 监测手段的工程问题,不是人工方法本身的固有瓶颈。

Q2. 声谱图的横轴和纵轴分别代表什么?

单选题 · easy

  • A.横轴为能量,纵轴为时间
  • B.横轴为时间,纵轴为频率← 正确答案
  • C.横轴为频率,纵轴为振幅
  • D.横轴为采样点,纵轴为声道数

答案:B。声谱图由短时傅里叶变换生成,横轴是时间窗口,纵轴是频率,颜色深浅代表该时频点的能量。B 正确,其他选项混淆了普通波形图与声谱图的坐标含义。

Q3. 某检测模型预测框与真实标注框完全不重叠,该预测框的 IoU 是多少?

单选题 · mid

  • A.0← 正确答案
  • B.0.25
  • C.0.5
  • D.1

答案:A。IoU = 交集面积 / 并集面积。完全不重叠时交集面积为 0,分子为 0,IoU 为 0。1 是完全重合,0.5 是常见的检测成功阈值,0.25 无实际判定意义。

Q4. 交叉熵损失中取对数再加负号的主要作用是什么?

单选题 · mid

  • A.加速模型推理时的计算速度
  • B.将概率映射为有界的非负损失值← 正确答案
  • C.把预测分数变成0到1之间的概率
  • D.过滤掉置信度过低的训练样本

答案:B。模型输出的概率在 [0,1],取 log 后范围是 [-∞,0],加负号转为 [0,+∞] 的损失,损失越小代表预测越准,梯度下降才能最小化损失。A 属于推理优化,C 是 softmax 的职责,D 与阈值过滤有关。

Q5. 生物多样性监测中,多模态融合相比单一模态有哪些优势?

多选题 · mid

  • A.声学与图像互相印证,降低误识别率← 正确答案
  • B.夜间和遮挡场景可依赖互补模态补位← 正确答案
  • C.能够完全消除全部环境噪声干扰
  • D.融合后模型参数量呈平方级减少

答案:AB。声学在夜间、茂密丛林中依然有效,图像受光照遮挡影响大,二者互补增强鲁棒性,A、B 正确。C 夸大其词,环境噪声只能抑制不能消除;D 方向反了,融合通常增加参数量而非减少。

Q6. 在“边缘计算+云端平台”架构中,边缘端部署的主要目的是什么?

单选题 · easy

  • A.保存历史物种数据用于长期归档
  • B.在本地完成推理仅回传压缩结果← 正确答案
  • C.替代云端完成全部模型训练
  • D.提供人工复核的图形化操作界面

答案:B。林区带宽有限,回传原始数据不现实,边缘端在本地推理并只上传几 KB 识别结果。A 是云端的长期归档职责;C 训练仍以云端为主;D 属于人机交互层而非边缘端核心用途。

Q7. 关于数据增强,以下哪些做法能有效提升声学模型的鲁棒性?

多选题 · mid

  • A.对音频加入随机环境噪声样本← 正确答案
  • B.调整音频播放速度改变基频← 正确答案
  • C.将图像按物种裁剪成统一小图
  • D.删除所有含风声的录音片段

答案:AB。给音频加噪声(雨声、风声)模拟真实环境,变速让模型对音调差异不敏感,都是有效的声学增强手段。C 属于图像预处理与音频无关;D 删数据会减少样本量,属于清洗范畴而非增强。

Q8. 某监测系统精确率 0.8、召回率 0.5,其 F1 分数约为多少?

单选题 · hard

  • A.0.60
  • B.0.62← 正确答案
  • C.0.65
  • D.0.72

答案:B。F1 = 2×(0.8×0.5)/(0.8+0.5) = 0.8/1.3 ≈ 0.615,最接近 0.62。注意调和平均低于算术平均 0.65,这正是 F1 对“偏科”模型的惩罚体现。

Q9. 声学识别中,STFT 将 3 秒鸟鸣切成 30 个窗口并逐个变换,得到 30 个时间帧、256 个频率槽。该声谱图的维度是?

单选题 · hard

  • A.30 × 256← 正确答案
  • B.256 × 256
  • C.3 × 256
  • D.30 × 30

答案:A。声谱图横轴是时间帧数,纵轴是频率槽数,因此维度为 30×256。C 把时间单位秒与帧数混淆;B 错误地按频率槽自乘;D 丢了频率维度。

Q10. 多模态加权融合中,关于权重 α 的确定,以下说法正确的有哪些?

多选题 · extreme

  • A.在验证集上分别评估声学与图像精度后确定← 正确答案
  • B.权重必须对每个物种类别保持固定不变
  • C.某个模态在夜间精度骤降时可动态调低其权重← 正确答案
  • D.α 取 0.9 时融合结果一定优于取 0.5

答案:AC。α 通常依据验证集精度和场景条件动态设定,A、C 正确。B 过于绝对,类别不均衡或场景变化时可动态调整;D 错误,α 过大等于几乎放弃图像信号,会让融合退化为纯声学识别。