凌晨四点,一架宽体客机从浦东起飞。机长沈航双手虚搭在推力杆上,自动驾驶仪正以巡航模式稳稳飞行。新上机的副驾驶林晓问出了憋了一路的问题:“机长,如果刚才是自动驾驶仪做的决定,出了事,算谁的?”沈航没回答,只是拍了拍肩章上的四道杠,又朝头顶的黑匣子面板努了努嘴。这趟航班的六个小时,足够把答案讲完:自动驾驶仪负责什么、机长负责什么、什么时候移交控制权、起飞前凭什么放行、事后靠什么还原真相、平时靠什么练出肌肉记忆。这些,正是人机协同决策里“责任分配与失败兜底”的全部秘密。等林晓听懂的时候,飞机已经穿过一片风切变——自动驾驶仪干脆利落地把操纵杆还给了机长。

岗位关联

掌握“责任如何分配、失败如何兜底、轨迹如何追溯”,你才能设计出经得起监管与舆论检验的 AI 系统——这是负责任 AI 落地中最稀缺的工程能力。

目录
  1. 可视化演示
  2. 协同决策基础
  3. 责任分配机制
  4. 失败兜底策略
  5. 伦理审查流程
  6. 可追溯审计
  7. 落地实践规范
  8. AI 应用场景
  9. Python 演示
  10. 常见误区
  11. 面试题

可视化演示

展示人机协同决策四级自动化等级与兜底降级、RACI责任分配矩阵与自动化偏置对抗、决策审计日志与高风险场景压力测试,三模式切换理解责任治理全貌。

本节配有交互动效(进入视口后自动加载,约 3KB)。

'+C1+'

协同决策基础

巡航高度一万米,自动驾驶仪接管了航向、高度和速度,机长沈航的手只是虚搭在推力杆上,目光却始终没有离开仪表。这不是“机长偷懒”,而是民航界最成熟的协同模式:机器管执行,人管判断。自动驾驶仪能在一秒内修正上百次姿态,但对“前方绕飞还是继续直飞”这类需要综合判断的问题,它会把决定权交还给人。

人机协同决策也一样,核心不是“谁更聪明”,而是“分工明确”。业界通用的做法是按置信度把决策分成三档:AI 很有把握时直接执行;把握中等时给出建议、由人类确认;把握很低时停止输出,把问题上报给人类处理。置信度(confidence)就是 AI 对自己判断的“底气”,就像自动驾驶仪知道自己此刻处于飞行包线内还是包线外。

三级策略由一个双阈值规则刻画。高阈值之上是 AI 的“巡航区”,低阈值之下是“禁飞区”,中间则是人类的“确认窗口”:

沈航给林晓补了一句:你看,自动驾驶仪从不会“自作主张”到最后一秒——它提前把不确定的部分交了出来。好的 AI 系统也这样:知道自己在哪些地方心虚,比永远嘴硬更重要。

S={E,conf≥θ高A,θ低≤conf<θ高R,conf<θ低\displaystyle S = \begin{cases} E, & \text{conf} \geq \theta_{\text{高}} \\ A, & \theta_{\text{低}} \leq \text{conf} < \theta_{\text{高}} \\ R, & \text{conf} < \theta_{\text{低}} \end{cases}
把 AI 的决策权按置信度切成三档:够自信就执行,一般自信就建议,没底气就上报。人类只在中间地带介入,既不过度干预,也不放任不管。
  1. 置信度 $\mathrm{conf}$AI 对当前决策结果的自评可信度,取值在 0 到 1 之间,越接近 1 代表越有把握。
    conf∈[0,1]\mathrm{conf} \in [0, 1]
  2. 高阈值 $\theta_{\text{高}}$当置信度不低于此值时,AI 进入直接执行模式,相当于自动驾驶仪的巡航状态。
    conf≥θ高⇒E\text{conf} \geq \theta_{\text{高}} \Rightarrow E
  3. 低阈值 $\theta_{\text{低}}$当置信度跌破此线,AI 无权再给建议,必须把决策上报给人类。
    conf<θ低⇒R\text{conf} < \theta_{\text{低}} \Rightarrow R
  4. 三路分支 $E/A/R$两个阈值把决策空间切成“执行、建议、上报”三档,中间档 E/A 区间由人类确认后拍板。
    θ低≤conf<θ高⇒A\theta_{\text{低}} \leq \text{conf} < \theta_{\text{高}} \Rightarrow A

责任分配机制

飞机平稳后,沈航把左肩的肩章转给林晓看:四道杠,代表专业、知识、技术、责任。民航法规里有一条铁律:无论自动驾驶仪处于何种状态,机长都是最终责任人。出了事故,调查组不会采信“是自动驾驶仪干的”——自动驾驶仪没有法律人格,它不能出庭,不能担责。能担责的,是人。

AI 治理里这叫“人类最终决定权”(human ultimate authority):系统可以辅助、可以建议、可以执行,但责任不能通过授权转移给机器。开发者、运营者、人类决策者之间可以分担责任,但不能把总责任卸载到算法上。这就是为什么“AI 背锅”在法律上不成立——你可以把驾驶交给自动驾驶仪,但不能把坐牢也交给它。

具体分配上,业界用一个责任比重模型来辅助设计:责任份额与“授权权重 × 实际控制力”成正比。谁的权重高、谁真正握着操纵杆,谁就承担更大的责任份额:

沈航总结:肩章不会因为自动驾驶仪先进就少一道杠。人可以把工作交给机器,但不能把责任交给机器——你授权多少,就要看管多少,这是人机协同的第一条纪律。

R人=w人⋅A人w人⋅A人+w机⋅A机\displaystyle R_{\text{人}} = \frac{w_{\text{人}} \cdot A_{\text{人}}}{w_{\text{人}} \cdot A_{\text{人}} + w_{\text{机}} \cdot A_{\text{机}}}
责任跟着控制力走:你授权多少、实际控制多少,就承担多少责任。AI 再“自动”,只要最终决定权在你手里,责任的大头就落在你身上。
  1. 责任系数 $w$法规与合同赋予的权重,人类决策者通常远高于机器,体现“人类最终决定权”。
    w人≫w机w_{\text{人}} \gg w_{\text{机}}
  2. 控制程度 $A$实际行使决策权的比例,取值 0 到 1。人若全程监控并有否决权,$A_{\text{人}}$ 就高。
    A人,A机∈[0,1]A_{\text{人}}, A_{\text{机}} \in [0, 1]
  3. 分子 $w_{\text{人}} \cdot A_{\text{人}}$人类承担的责任份额与其加权控制力成正比,控制越多、责任越重。
    责任份额∝w⋅A\text{责任份额} \propto w \cdot A
  4. 分母归一化把人与机器两部分的加权责任拉通,使总责任为 1,便于设计责任边界和保险方案。
    R人+R机=1R_{\text{人}} + R_{\text{机}} = 1

失败兜底策略

凌晨五点十分,驾驶舱响起柔和而急促的告警:“风切变!接管!”自动驾驶仪几乎在同一瞬间断开,把操纵杆的“手感”完整地还给了沈航。林晓后来回忆:整个过程不足三秒,却像排练过几百遍——因为那确实是排练过的。

这是人机协同里最关键的“失败兜底”。所谓兜底,不是等出了事再想办法,而是提前设计好一条处置链:AI 能力下降时先降级运行(比如只给建议不执行),再上报,再由人类接管,极端情况下进入安全停机;同时保留冗余备份,确保单一环节失效不会导致整体失控。每一层都有明确的触发条件、执行人和时间预算。

兜底设计最核心的指标是时间余量:从故障发生到后果不可逆的窗口,必须明显大于“检测 + 决策 + 执行”的总耗时,否则接管就是一句空话:

风切变过去后,自动驾驶仪自动重新接上了。沈航说:记住,自动驾驶仪断开的那一瞬间不是故障,是它最后的尽责——它知道再逞强,就把整架飞机都搭进去了。兜底机制,是 AI 系统对使用者最深的忠诚。

T余量=T临界−(t检测+t决策+t执行)≥T安全\displaystyle T_{\text{余量}} = T_{\text{临界}} - (t_{\text{检测}} + t_{\text{决策}} + t_{\text{执行}}) \geq T_{\text{安全}}
兜底的本质是“抢时间”:系统发现异常要快、人做出判断要快、动作落地要快,三者之和必须小于灾难降临的时间。
  1. 临界时间 $T_{\text{临界}}$从故障发生到后果不可逆的窗口,比如自动驾驶场景中距离碰撞的时间。
    T临界T_{\text{临界}}
  2. 检测时间 $t_{\text{检测}}$系统发现异常、发出告警(如“风切变!接管!”)的耗时,要求秒级甚至毫秒级。
    t检测→最小化t_{\text{检测}} \rightarrow \text{最小化}
  3. 决策时间 $t_{\text{决策}}$人类确认情况、选择处置方案(绕飞、复飞、停机)的耗时,靠演练压缩。
    t决策t_{\text{决策}}
  4. 执行时间 $t_{\text{执行}}$接管动作真正落地(握住操纵杆、按下急停)的耗时。
    t执行t_{\text{执行}}
  5. 安全余量约束三者之和必须明显小于临界窗口,并留出安全余量,否则必须降低 AI 的自主等级。
    T临界−(t检测+t决策+t执行)≥T安全T_{\text{临界}} - (t_{\text{检测}} + t_{\text{决策}} + t_{\text{执行}}) \geq T_{\text{安全}}

伦理审查流程

起飞前四十分钟,林晓跟着沈航做检查单:航路天气、目的地通告、油量、载重平衡,一项一项打勾,签派员最终签发放行。没有这张签派单,飞机再“先进”也不能起飞。这套流程看似繁琐,却把绝大多数隐患挡在了跑道之外。

AI 系统上线,同样要过一道“伦理审查放行”。审查委员会(由法务、安全、业务、技术多方组成)按照检查单评估:算法合不合规?数据有没有侵权?风险有多大?出了事有没有预案?能不能向用户解释?全绿才放行。在欧盟《人工智能法案》(AI Act)等法规中,高风险系统必须走完全部审查门禁才能部署,这与民航签派放行如出一辙。

风险评估最常用的是 FMEA(失效模式与影响分析)的 RPN 指标:把每个风险场景按严重度、发生度、可检测度打分,三项相乘排序,分数越高越要先处置:

签派放行不是终点,而是起点。沈航每次都强调:检查单救了无数架飞机,不是因为纸厚,而是因为每一项背后都有人负责。伦理审查也一样——它不是为了走形式,而是让每个风险场景在模型上线前就被看见、被写成预案。

RPN=S×O×D\displaystyle \text{RPN} = S \times O \times D
把风险拆成“后果多严重、多容易发生、多难被察觉”三个维度打分相乘。得分最高的场景,必须优先写进预案、优先投入资源。
  1. 严重度 $S$风险一旦发生,后果有多严重,打分 1 到 10,越高越严重(如人身伤害打 10 分)。
    S∈{1,2,…,10}S \in \{1, 2, \dots, 10\}
  2. 发生度 $O$风险发生的可能性,1 到 10 分,越高越容易发生。
    O∈{1,2,…,10}O \in \{1, 2, \dots, 10\}
  3. 可检测度 $D$现有机制能否及时察觉该风险,1 到 10 分,越难察觉分数越高。
    D∈{1,2,…,10}D \in \{1, 2, \dots, 10\}
  4. 相乘排序 RPN三数相乘得到风险优先级,伦理委员会据此决定先审哪个、先防哪个。
    RPN∈[1,1000]\text{RPN} \in [1, 1000]

可追溯审计

飞机降落后,机务取走飞行数据记录器和舱音记录器。林晓知道,这两只橙色的“黑匣子”,记录着从起飞到落地的每一秒:自动驾驶仪何时断开、告警何时响起、机长何时握杆。如果哪天出了争议,调查员靠它一秒一秒还原真相。

AI 系统也必须有自己的“黑匣子”:决策日志。不是随便打几条日志,而是要记录决策当时的关键输入、上下文、AI 置信度、决策模式(执行/建议/接管)、人工干预动作和最终结果。这样事后才能回答三个问题:系统当时看到了什么?为什么这样判断?人有没有干预?

但日志可以被篡改,所以要用哈希链把它“焊死”。每条记录都加上一条指纹,而这条指纹依赖前一条记录的指纹,环环相扣,改任何一格都会让整条链断裂:

沈航说:机长最怕的不是犯错误,而是说不清当时发生了什么。黑匣子让每个决定都经得起回放。对 AI 公司来说,一份完整、防篡改、可解释的决策日志,是面对监管和舆论时最有力的自证。

Hi=Hash⁡(Hi−1∥Di)\displaystyle H_i = \operatorname{Hash}(H_{i-1} \parallel D_i)
每一条新日志都“咬住”上一条的尾巴:新指纹 = 对(旧指纹 + 本条内容)做哈希。谁想偷偷改中间一条,后面的链条立刻对不上,篡改无所遁形。
  1. 上一条哈希 $H_{i-1}$前一条决策日志的指纹,是整条链的“焊接点”。
    Hi−1H_{i-1}
  2. 当前数据 $D_i$本条日志内容(输入、上下文、置信度、模式、人工干预)。
    DiD_i
  3. 拼接取哈希 $\parallel$ 与 $\operatorname{Hash}$把旧指纹与当前数据拼接后做哈希运算,得到新指纹。
    Hi=Hash⁡(Hi−1∥Di)H_i = \operatorname{Hash}(H_{i-1} \parallel D_i)
  4. 链式校验审计时从头重算,任一记录被改动,后续所有哈希全部失配,篡改立刻暴露。
    verify: Hi=?Hash⁡(Hi−1∥Di)\text{verify: } H_i \stackrel{?}{=} \operatorname{Hash}(H_{i-1} \parallel D_i)

落地实践规范

每年两次,沈航都要进全动模拟机,反复演练发动机失效、单发复飞、风切变复现。公司规定:模拟机考核不通过,不能担任机长。林晓第一次坐进模拟机时紧张得手心出汗,下来后沈航只问了一句:如果刚才发生在三万英尺,你能保证手不抖吗?

AI 落地同理:兜底预案写得再漂亮,不演练就是废纸。团队要定期做红队演练、故障注入、预案复盘;负责接管的员工要经过培训和认证,考试合格才能上岗;不同风险等级的系统,人工抽检频率也不同——高风险系统逐单复核,低风险系统抽样核查,这就是“风险分级监督”。

抽检量不是拍脑袋定的,而是按统计抽样的公式算出来的。假设预计问题决策比例为 p、可接受误差为 ε、置信水平对应系数为 Z,则每月需要人工抽检的决策条数为:

回到模拟机:沈航说,平时多流汗,战时少流血。兜底不是写在文档里的承诺,是练出来的肌肉记忆。AI 团队每一次演练、每一轮抽检、每一条改进,都是在给“负责任”三个字充值。

n=Z2⋅p(1−p)ε2\displaystyle n = \frac{Z^2 \cdot p(1-p)}{\varepsilon^2}
想从一堆决策中抽查出问题,不是“随便抽几条看看”,而是按公式算出最低样本量。抽少了没代表性,抽多了浪费人力。
  1. 置信系数 $Z$由期望置信水平决定,95% 置信对应约 1.96,越高越保守。
    Z≈1.96(95%)Z \approx 1.96 \quad (95\%)
  2. 预计异常率 $p$凭历史数据估计的“问题决策”比例,一般在 0.05 到 0.3 之间。
    p∈(0,1)p \in (0, 1)
  3. 可接受误差 $\varepsilon$抽检估计允许的误差幅度,比如 ±5% 对应 0.05。
    ε=0.05\varepsilon = 0.05
  4. 样本量 $n$计算得到的最低抽检条数,高风险系统取更小的 ε,n 随之变大,监督更密。
    n∝1ε2n \propto \frac{1}{\varepsilon^2}

AI 应用场景

智能风控中的分级复核

阶段:系统运行与人类监督

解决的问题:传统风控要么全自动放行、出事才追责,要么全部人工审核、效率极低。AI 按三级策略处理:高置信交易直接放行,中置信推送给复核员确认,低置信或命中新型欺诈模式的交易强制转人工,并自动降级为“全量人工审核”模式。

具体案例:某银行反欺诈系统上线后,模型对“新注册账号大额转账”场景置信度骤降,系统按阈值自动将当日该类交易全部挂起,复核团队两小时内拦截了一起团伙洗钱。事后哈希链日志完整还原了每笔交易的 AI 打分与人工操作,成为监管报送的关键证据。

医疗影像辅助诊断

阶段:部署前伦理审查与运行中兜底

解决的问题:影像 AI 直接“出报告”有误诊风险,全部由医生重读又失去辅助价值。系统把病灶检测分成“高置信标注”与“需医生复核”两类,低置信影像强制由放射科医生判读并电子签名,医生可一键否决 AI 建议。

具体案例:某三甲医院肺结节筛查 AI 上线前,伦理委员会按 RPN 矩阵评估“漏诊高危结节”场景,要求系统必须保留原始影像、置信度与医生修改痕迹。一次误诊争议中,医院凭哈希链日志证明 AI 当时仅为“建议”模式、最终诊断由医生做出,厘清了责任边界。

自动驾驶出行的最小风险策略

阶段:失败兜底与事后审计

解决的问题:L3 级自动驾驶在恶劣天气或传感器置信下降时,无法继续安全行驶。系统必须执行“最小风险策略”:提示接管、降级巡航、靠边停车,每一步都受时间余量约束。

具体案例:某自动驾驶出行平台在暴雨天遇到传感器遮挡,车辆在 1.2 秒内完成告警并降级,超出地理围栏后自动靠边停车并呼叫远程安全员。事故复盘时,平台调出决策日志,证明 AI 在临界时间前完成了全部兜底动作,责任归属清晰。

Python 演示

python72 行
# -*- coding: utf-8 -*-"""人机协同决策的责任分配与失败兜底模拟器"""import hashlib  class DecisionLog:    """黑匣子: 决策日志哈希链"""     def __init__(self):        self.chain = []        self.prev_hash = "GENESIS"     def append(self, record):        block = {            "record": record,            "prev": self.prev_hash,            "hash": hashlib.sha256((self.prev_hash + "|" + record).encode()).hexdigest()[:16],        }        self.chain.append(block)        self.prev_hash = block["hash"]     def verify(self):        h = "GENESIS"        for b in self.chain:            if b["prev"] != h:                return False            calc = hashlib.sha256((h + "|" + b["record"]).encode()).hexdigest()[:16]            if b["hash"] != calc:                return False            h = b["hash"]        return True  class HumanAIPilot:    """机长与自动驾驶仪协同决策模拟器"""     def __init__(self, auto_th=0.60, esc_th=0.35):        self.auto_th = auto_th        self.esc_th = esc_th        self.log = DecisionLog()        self.override_count = 0     def decide(self, conf, context):        if conf >= self.auto_th:            mode, action = "AUTO", "AI直接执行"        elif conf >= self.esc_th:            mode, action = "SUGGEST", "人类复核确认"        else:            mode, action = "MANUAL", "人工强制接管"            self.override_count += 1        self.log.append("%s|%.2f|%s|%s" % (mode, conf, context, action))        return mode, action  def main():    pilot = HumanAIPilot()    flight = [        ("平稳巡航", 0.97),        ("轻微颠簸", 0.72),        ("风切变告警", 0.31),        ("脱离危险区", 0.88),        ("进近下降", 0.55),    ]    for context, conf in flight:        mode, action = pilot.decide(conf, context)        print("%-10s conf=%.2f -> %-7s %s" % (context, conf, mode, action))    print("人工接管次数: %d" % pilot.override_count)    print("决策日志哈希链校验: %s" % ("通过" if pilot.log.verify() else "失败"))  if __name__ == "__main__":    main()
目的:模拟一个“机长 + 自动驾驶仪”系统,按置信度三级决策,置信过低时强制移交人工接管,并用哈希链记录全部决策日志——一次跑通“责任分配、失败兜底、可追溯”三件事。
  1. if conf >= self.auto_th:高置信(≥0.60)才允许 AI 直接执行,对应巡航模式。
  2. elif conf >= self.esc_th:中等置信(0.35~0.60)进入“建议-确认”模式,人类复核。
  3. self.override_count += 1每次人工接管都计数,这是责任转移的痕迹。
  4. self.log.append(...)每条决策写入“黑匣子”,含模式、置信度、场景、动作。
  5. "hash": hashlib.sha256((self.prev_hash + "|" + record).encode()).hexdigest()[:16]对“上一条指纹 + 本条记录”取哈希,形成防篡改链。
  6. def verify(self):事后审计时从头重算整条链,验证日志是否被改过。
  7. if b["prev"] != h: return False只要有一块对不上,链条立刻断裂,篡改行为暴露。

常见误区

误区很多人觉得模型输出了决策,出了事应该让算法背锅——“这是 AI 自己判断的,跟操作者没关系”。

正解算法不是法律主体,无法承担法律责任。就像自动驾驶仪不会出庭受审,机长却要面对调查。责任首先落在运营方和人类决策者身上;开发者只有在存在设计缺陷且未尽注意义务时,才可能承担连带责任。你授权多少,就要看管多少。

为何常见:“机器做事机器担责”符合直觉,但法律只对自然人和法人有效,这是初学者最容易踩的坑。

误区系统在跑,旁边坐个员工盯着屏幕,偶尔点一下“通过”,就自以为实现了人机协同。

正解真正的“人在环内”要求人类拥有充分信息、足够时间、真实否决权。平均三秒点一个通过的“橡皮图章式复核”,在伦理审查中会被判定为“伪人工”,甚至因为“该干预而未干预”而加重责任。机上监视不是看戏,是要随时准备接管。

为何常见:形式上设置一个审核岗最容易通过合规检查,所以很多企业止步于形式,忽略了“有效监督”才是本质。

误区工程师视角下,给代码加上异常捕获、catch 住报错就算完成了兜底。

正解兜底是一条完整的处置链:降级 → 上报 → 接管 → 安全停机,每一层都要有触发条件、时间预算、执行人和记录。风切变告警不是一句“出错了”,而是一整套有排练的接管程序。try/except 只能处理代码异常,处理不了“AI 自信地犯错误”。

为何常见:工程师习惯从代码鲁棒性出发看问题,忽略了兜底本质上是组织级的处置流程设计。

误区上线前过了一次伦理审查,后面就不再管了,觉得 AI 系统永远“合规”。

正解审查是放行门禁,不是终身保险。环境会变、数据会漂移、攻击手法会更新,必须持续监督:监测线上指标漂移、复现风险场景、在重大变更(新功能、新数据源、新场景)后重新审查。签派放行的是今天这班航班,明天的天气要重新看。

为何常见:把“合规”误解为一次性评审活动,忽视了 AI 治理是覆盖全生命周期的持续性职责。

误区以为黑匣子就是海量打点,把所有数据无脑记录下来,审计时自然有据可查。

正解审计需要的是结构化、可解释、与决策强相关的记录——当时的输入、上下文、置信度、模式、人工干预动作,并且带上防篡改哈希链。海量无效日志会让审计员无从下手,反而拖垮系统性能。黑匣子记的不是“一切”,而是“关键”。

为何常见:“留痕 = 安全”的直觉是对的,但忽略了可追溯性的核心是“能还原决策过程”,而非“数据体积”。

面试题

Q1. 在民航隐喻中,自动驾驶仪(AI 系统)执行任务时发生事故,最终法律责任应由谁承担?

单选题 · easy

  • A.自动驾驶仪的制造商
  • B.机长及运营的航司← 正确答案
  • C.机场塔台的调度员
  • D.事故无需任何人担责

答案:B。算法不是法律主体,无法承担责任。空难调查不会判定“自动驾驶仪有罪”,而是追究机长、航司等法律主体的责任。这对应人机协同中“人类最终决定权”的原则。

Q2. 人机协同的“三级决策模式”中,AI 置信度低于最低阈值时应如何处置?

单选题 · easy

  • A.继续自动执行原任务
  • B.提高模型输出速度
  • C.上报并移交人工接管← 正确答案
  • D.直接放弃本次决策

答案:C。低阈值以下属于“禁飞区”,AI 无权继续执行甚至建议,必须上报人类。就像自动驾驶仪风切变告警后把操纵杆还给机长,这是失败兜底的第一环。

Q3. 失败兜底机制的核心目标是什么?

单选题 · easy

  • A.让 AI 永远不犯错误
  • B.失效时保持安全可控← 正确答案
  • C.大幅削减服务器成本
  • D.加快模型训练迭代

答案:B。兜底不是消除错误,而是在错误发生时让系统安全可控:降级、接管、安全停机。类比自动驾驶仪断开不是故障,而是它最后的尽责。

Q4. 责任分配公式 $\displaystyle R_{\text{人}} = \frac{w_{\text{人}} \cdot A_{\text{人}}}{w_{\text{人}} \cdot A_{\text{人}} + w_{\text{机}} \cdot A_{\text{机}}}$ 中,$A_{\text{人}}$ 代表什么?

单选题 · mid

  • A.AI 系统拥有的算力大小
  • B.人类实际行使的决策权程度← 正确答案
  • C.人类从业者的工作年限
  • D.系统整体的可用性指标

答案:B。$A$ 是实际控制力/决策权行使程度。责任跟着控制力走:人真正握着操纵杆、能拍板,就承担相应责任份额。分母做归一化,使总责任为 1。

Q5. 伦理审查中风险优先级数 $\text{RPN} = S \times O \times D$,若严重度 8、发生度 5、可检测度 3,RPN 是多少?

单选题 · mid

  • A.风险优先数为 40
  • B.风险优先数为 120← 正确答案
  • C.风险优先数为 240
  • D.风险优先数为 160

答案:B。RPN = 8 × 5 × 3 = 120。三个维度相乘得到风险优先级,分数越高越要优先处置。可检测度越高分代表越难被察觉,因此也是风险放大器。

Q6. 关于“人工接管”的时效性,哪个说法正确?

单选题 · mid

  • A.只要安排人员就能随时接管
  • B.接管时间余量必须满足安全界限← 正确答案
  • C.接管越快越好无需考虑准确性
  • D.接管机制只适用于自动驾驶

答案:B。兜底的核心是时间余量:检测+决策+执行必须明显小于临界窗口。只安排人不算数,还要保证人有足够时间做对判断——这正是“演练过的预案才算预案”的原因。

Q7. 决策日志的哈希链 $\displaystyle H_i = \operatorname{Hash}(H_{i-1} \parallel D_i)$ 的主要作用是什么?

单选题 · mid

  • A.加密决策内容以防数据泄露
  • B.检测篡改并保证追溯完整性← 正确答案
  • C.压缩日志存储节省磁盘空间
  • D.提升模型在线推理的运行速度

答案:B。哈希链不加密内容,而是把每条记录“焊”成一条链:改任意一格,后续所有指纹全部失配。它保证黑匣子内容不可抵赖、可事后审计。

Q8. 负责任 AI 落地中,“人类最终决定权”要求系统具备哪些条件?

多选题 · mid

  • A.人类有充分信息做出判断← 正确答案
  • B.人类有能力否决 AI 的建议← 正确答案
  • C.AI 自动完成所有业务操作
  • D.提供充足的反应与决策时间← 正确答案

答案:ABD。人类最终决定权不是摆设,需要充分信息、否决权和时间预算三要素。C 恰恰取消了人类决定权,是“伪人工”。就像机长必须看得到仪表、能推杆、来得及反应。

Q9. 失败兜底策略通常包含哪些层级?

多选题 · hard

  • A.降级处理简化模式继续运行← 正确答案
  • B.人工接管移交人类控制← 正确答案
  • C.安全停机进入安全状态← 正确答案
  • D.静默忽略保持原操作

答案:ABC。兜底是一条完整处置链:先降级、再上报接管、极端情况安全停机。D 是放任不管,违背兜底本质。类比自动驾驶仪的“最后尽责”是移交,而不是硬撑。

Q10. 伦理审查流程中,持续监督阶段应覆盖哪些内容?

多选题 · extreme

  • A.线上效果指标漂移监测← 正确答案
  • B.风险场景复现与预案演练← 正确答案
  • C.重大变更后重新伦理审查← 正确答案
  • D.一次通过后永久合规豁免

答案:ABC。审查是门禁而非保险。数据漂移、新攻击、新场景都会改变风险格局,必须持续监测、演练、复审。D 混淆了“放行”与“终身合规”,是常见治理漏洞。