想象你走进一家五星级餐厅，一位名叫小林的服务员迎面走来。他不会只靠嘴巴服务——当你犹豫不决时，他会流利地口述几道招牌菜（语音），同时递上一份图文并茂的菜单（屏幕）。你随口说“来份宫保鸡丁”，他会重复一遍“好的，宫保鸡丁”，并把记好的单子亮给你看（语音+屏幕双重确认）。万一他听岔了，他会指着菜单笑问：“您说的是这道，还是旁边那道？”（屏幕兜底纠错）。 这位“会说又会写”的服务员，就是多模态语音+屏幕混合交互的化身。在今天的智能产品中，纯靠声音早已不够——车里有屏、手机有屏、冰箱也有屏。语音负责“快”，屏幕负责“准”，两者默契配合，才能像小林一样把服务做到位。本文就带你认识这位数字世界的“多模态服务员”，拆解他背后的设计智慧。

岗位关联

多模态混合交互是语音产品的核心竞争力，掌握它能让你设计出真正“好用不火大”的语音助手，是AI交互设计师和产品经理的必修课。

目录
  1. 可视化演示
  2. 混合交互概述
  3. 交互架构设计
  4. 反馈设计原则
  5. 容错策略
  6. 个性化与情感化
  7. 信息架构适配
  8. 设计验证
  9. AI 应用场景
  10. Python 演示
  11. 常见误区
  12. 面试题

可视化演示

动态演示语音交互VUI的核心机制，通过开始/执行/监控/完成四种模式展示关键概念与交互流程。

本节配有交互动效（进入视口后自动加载，约 3KB）。

语音交互VUI：多模态交 多模态交互的理论基础 语音与屏幕的信息分工 核心机制可视化 语音交互VUI整体架构与关键组件

混合交互概述

小林服务员有个本事：他一边口述“今天的清蒸鲈鱼很新鲜”，一边把写着时令菜的菜单推到你面前。你可以用耳朵听他的推荐语气，也可以用眼睛扫菜单上的价格——两条信息通道同时工作，各展所长。这就是多模态交互最朴素的模样：语音和屏幕不是竞争关系，而是队友关系。

在多模态语音交互中，“语音”通道擅长传递意图、语气和节奏——你说“我想吃辣的”，一句话就表达了完整情绪；“屏幕”通道擅长展示列表、状态和选项——三张菜品卡片摆在那里，一目了然。两者的互补性正是多模态的核心价值：语音负责快，屏幕负责准。

这种互补可以量化为信息的增益。当两条通道传递的信息有重叠时，重叠部分并不会带来额外价值，反而可能造成冗余。

就像小林不会把菜单上的每道菜都口述一遍——那样既啰嗦又让人记不住。他会口述招牌菜（语音独特信息），让你自己看完整菜单（屏幕独特信息），只在关键处强调“这道您一定喜欢”（少量重叠）。多模态设计的第一个原则就是：让每条通道做自己最擅长的事，减少无意义的重叠。

G=Vvoice+Vscreen−VoverlapG = V_{\text{voice}} + V_{\text{screen}} - V_{\text{overlap}}
这个公式表示：多模态带来的信息增益，等于语音通道的信息量加上屏幕通道的信息量，再减去两条通道重复的那部分。
  1. 语音通道信息量V_voice 表示用户通过说和听获取的信息量，比如听到“这道菜是招牌”的语气判断。
    Vvoice=语音通道传递的信息V_{\text{voice}} = \text{语音通道传递的信息}
  2. 屏幕通道信息量V_screen 表示通过看屏幕获取的信息量，比如菜单上的价格、图片、辣度标记。
    Vscreen=屏幕通道传递的信息V_{\text{screen}} = \text{屏幕通道传递的信息}
  3. 重叠信息量V_overlap 表示两条通道同时表达的内容，比如语音说出菜名的同时屏幕也显示同一菜名。
    Voverlap=双通道重复的信息V_{\text{overlap}} = \text{双通道重复的信息}
  4. 互补增益G 是扣除重叠后的净增益，只有当两条通道各说各的且互相补充时，G 才最大。
    G=Vvoice+Vscreen−VoverlapG = V_{\text{voice}} + V_{\text{screen}} - V_{\text{overlap}}

交互架构设计

小林是个懂得察言观色的服务员。顾客正低头看手机时，他不会突然开口报菜名；顾客主动问“有什么推荐”时，他才会热情介绍。他还知道，如果是老顾客带着家人来，他应该递上菜单让大家自己选，而不是念个不停——服务的“模态选择”取决于场景。

交互架构设计的本质，就是回答“何时用语音、何时用屏幕、何时两者联合”。这由三个因素共同决定：任务适配度（这个任务天生适合哪种通道）、环境可用度（当下的环境允许用哪种通道）、认知成本（用户切换和整合两种通道要花多少心思）。

小林的“服务智慧”就是这套决策逻辑：顾客在打电话（噪声高、无法看屏幕）时，他只说“您先忙，我稍后再来”（纯语音）；顾客在研究菜单（需要对比信息）时，他安静站在一旁等顾客翻页（纯屏幕）；顾客问“两个人来点什么好”时，他口头推荐并同时打开菜单翻到推荐页（联合）。好的交互架构，让用户感觉“这个助手真懂我”，而不是“它怎么老打断我”。

M=arg⁡max⁡i∈{voice,screen,joint}[Ti×Ai×(1−Ci)]M = \mathop{\arg\max}_{i \in \{\text{voice},\text{screen},\text{joint}\}} \left[ T_i \times A_i \times (1 - C_i) \right]
这个公式表示：在语音、屏幕、联合三种候选中，选择“任务适配度 × 环境可用度 × 认知成本折扣”得分最高的那个模态组合。
  1. 任务适配度T_i 表示模态 i 与该任务的匹配程度，简单指令（如“播放下一首”）语音适配度高，复杂浏览（如选航班）屏幕适配度高。
    Ti=任务类型与模态的匹配程度T_i = \text{任务类型与模态的匹配程度}
  2. 环境可用度A_i 表示当下环境对模态的限制，嘈杂街道上语音可用度低，驾驶时屏幕可用度低。
    Ai=环境对模态的支持程度A_i = \text{环境对模态的支持程度}
  3. 认知成本折扣1 - C_i 用 1 减去认知成本系数，成本越高，折扣越大，最后得分越低。
    1−Ci=认知成本的惩罚折扣1 - C_i = \text{认知成本的惩罚折扣}
  4. 最优模态选择argmax 在三个候选中挑出乘积最大者，决定当前交互的主导通道。
    M=arg⁡max⁡i Score(i)M = \mathop{\arg\max}_{i} \, \text{Score}(i)

反馈设计原则

你点完菜后，小林做了两件事：嘴里说“好的，一份宫保鸡丁”，同时把写好的单子亮在你面前。口头确认让你立刻知道“他听到了”；书面单据让你可以核对“有没有听错”。两条反馈几乎同时到达，这就是多模态反馈设计的精髓——及时、同步、可核对。

反馈设计的第一法则是“即时性”：语音反馈要立刻跟上，不能让人对着空气等三秒。第二法则是“可视化”：屏幕要展示语音难以承载的细节，比如完整订单条目。两条通道之间还必须保持语义一致——语音说“酸菜鱼”，屏幕就不能显示“水煮鱼”，否则用户会瞬间出戏。

小林从不会先写完单子再开口，也不会先说完话再慢慢找笔。他会一边说一边写，让口头和书面几乎同时到达。如果一个语音助手说话快但屏幕加载慢，用户就会感到“分裂”。反馈设计的本质，是让两条通道像一个人的两只手一样协调——各做各的，但同一个节拍。

F=1−∣dvoice−dscreen∣Dmax⁡F = 1 - \frac{|d_{\text{voice}} - d_{\text{screen}}|}{D_{\max}}
这个公式表示：反馈一致性指数 F 等于 1 减去语音反馈与屏幕反馈延迟差的绝对值占最大允许延迟差的比例。F 越接近 1，两条通道的反馈越同步。
  1. 语音反馈延迟d_voice 语音播报从系统响应到用户听到的时间。
    dvoice=语音通道反馈耗时d_{\text{voice}} = \text{语音通道反馈耗时}
  2. 屏幕反馈延迟d_screen 屏幕从系统响应到画面更新的时间。
    dscreen=屏幕通道反馈耗时d_{\text{screen}} = \text{屏幕通道反馈耗时}
  3. 最大允许延迟差D_max 设计规范中允许的两通道最大时间差，超过这个值用户会感知到“不同步”。
    Dmax⁡=可容忍的通道延迟差上限D_{\max} = \text{可容忍的通道延迟差上限}
  4. 一致性指数F 用 1 减去归一化延迟差，完全同步时 F = 1，不同步时 F 下降。
    F=1−∣dvoice−dscreen∣Dmax⁡F = 1 - \frac{|d_{\text{voice}} - d_{\text{screen}}|}{D_{\max}}

容错策略

有一次小林确实听岔了——你把“宫保鸡丁”说成了“公保鸡丁”。他没有慌乱地让你重复五遍，而是先道歉，然后指着菜单问：“您说的是这道宫保鸡丁，还是旁边的宫保虾仁？”这就是多模态容错：语音不行，屏幕来补。

容错策略的第一步是“识别错误分级”：低风险错误（如播报无关紧要的提醒出错）可以静默修正；中等风险错误（如点菜名称不符）需要屏幕兜底；高风险错误（如删除文件、转账）则必须渐进式确认，甚至要求用户明确说“确认删除”。分级的目的，是避免为每个小错误都打断用户。

屏幕兜底的威力可以用概率公式量化。假设语音识别首次成功的概率是 P₁，失败后屏幕上展示候选列表、用户点选成功的概率是 P₂，那么整个任务最终的完成率远高于单纯让用户重复语音。

假如 P₁ 只有 70%，但屏幕兜底能让剩余 30% 的错误中 90% 被修正，最终成功率就是 0.7 + 0.3 × 0.9 = 97%。小林的服务之所以让人放心，正是因为他不仅有“会听”的本事，还有“错了也能补救”的机制——屏幕上永远有候选、有撤销、有“这不是我要的”的出口。容错不是掩盖错误，而是给用户一条优雅的退路。

Pfinal=Precog+(1−Precog)×PfallbackP_{\text{final}} = P_{\text{recog}} + (1 - P_{\text{recog}}) \times P_{\text{fallback}}
这个公式表示：最终成功率 = 首次识别成功率 + 识别失败的部分通过屏幕兜底修正成功的概率。
  1. 首次识别成功率P_recog 语音引擎一次就听懂的概率，受口音、噪声、语速影响。
    Precog=首次语音识别正确率P_{\text{recog}} = \text{首次语音识别正确率}
  2. 识别失败率1 - P_recog 语音没有被正确理解的概率。
    1−Precog=语音识别失败的概率1 - P_{\text{recog}} = \text{语音识别失败的概率}
  3. 屏幕兜底成功率P_fallback 识别失败后，屏幕展示候选列表、用户通过点选或二次语音选对的概率。
    Pfallback=屏幕兜底纠正成功的概率P_{\text{fallback}} = \text{屏幕兜底纠正成功的概率}
  4. 最终成功率P_final 两条通道接力后，任务最终完成的综合概率，通常远高于单独使用语音。
    Pfinal=Precog+(1−Precog)×PfallbackP_{\text{final}} = P_{\text{recog}} + (1 - P_{\text{recog}}) \times P_{\text{fallback}}

个性化与情感化

老顾客张先生一进门，小林就笑了：“张先生，还是老位置？今天的大闸蟹很肥，给您留了一只。”他记得张先生的口味、座位偏好，甚至知道张先生今天心情不错可以多聊两句。这份“懂你”不是魔法，而是长期观察和记忆的结果。

语音助手的个性化同样依赖“用户画像建模”：系统收集用户的历史交互数据，为每个用户维护一组偏好权重。你常听播客、爱点甜口、晚上喜欢安静——这些偏好在系统中被量化为一个个权重系数，驱动着推荐排序和播报风格。

小林的“个性化”还有一个细节：他从不当着张先生的客户面提张先生怕辣——隐私边界是情感化的底线。语音助手也一样，可以记得你的通勤路线，但不能把你的偏好泄露给其他设备。当助手说“今天推荐你常听的播客”时，用户感到的是温暖而非被监控，这才是情感化的正确打开方式。

S=∑i=1nwi×matchiS = \sum_{i=1}^{n} w_i \times \text{match}_i
这个公式表示：个性化满意度 S 等于所有偏好项的权重 w_i 与该偏好在当前场景中匹配度 match_i 的乘积之和。
  1. 偏好权重w_i 表示第 i 类偏好的重要程度，比如“菜系偏好”的权重可能高于“背景音乐偏好”。
    wi=第 i 类偏好的重要度权重w_i = \text{第 } i \text{ 类偏好的重要度权重}
  2. 偏好匹配度match_i 表示当前推荐内容与用户该偏好的吻合程度，完全符合取 1，完全不符取 0。
    matchi=当前内容与偏好的吻合度\text{match}_i = \text{当前内容与偏好的吻合度}
  3. 累加求和Σ 把所有偏好项的加权得分加总，得到综合满意度。
    ∑i=1nwi×matchi=各项加权满意度之和\sum_{i=1}^{n} w_i \times \text{match}_i = \text{各项加权满意度之和}
  4. 综合满意度S 分数越高，代表个性化推荐越贴合用户。
    S=个性化综合满意度得分S = \text{个性化综合满意度得分}

信息架构适配

菜单的排版是一门学问：招牌菜在最显眼的位置，价格清晰，图片诱人。小林的口头推荐也有顺序：先报店名招牌，再说今日时令，最后问一句“主食需要吗”。菜单（屏幕）和口头介绍（语音）各有自己的信息架构，而优秀的混合交互让两者彼此呼应。

屏幕的信息架构讲究“视觉层级”——最重要的信息用大字号和鲜艳色块突出，次要信息缩小或弱化。语音的信息架构则讲究“播报顺序”——先说结论，再说细节，避免一次性塞太多内容。两者必须对齐：屏幕上高亮的第一推荐，应该就是语音中第一个提到的选项。

小林的菜单绝不会密密麻麻写上 200 道菜，他的口头推荐也绝不会一口气报完 20 个菜名。菜单精选 10 道、口头推荐 3 道，两边内容互相呼应又各有侧重。信息架构适配的目标，就是让视觉和听觉各担一半，用户既不会被屏幕上的字海淹没，也不会被语音的滔滔不绝轰炸。

D∗=arg⁡min⁡D∣Lvisual(D)−Laudio(D)∣D^{*} = \mathop{\arg\min}_{D} \left| L_{\text{visual}}(D) - L_{\text{audio}}(D) \right|
这个公式表示：最优信息密度 D\* 是让视觉认知负荷与听觉认知负荷之差最小的那个密度值，让两条通道“势均力敌”。
  1. 视觉认知负荷L_visual(D) 信息密度为 D 时，用户眼睛需要处理的工作量。
    Lvisual(D)=视觉通道的认知负荷L_{\text{visual}}(D) = \text{视觉通道的认知负荷}
  2. 听觉认知负荷L_audio(D) 信息密度为 D 时，用户耳朵需要处理的工作量。
    Laudio(D)=听觉通道的认知负荷L_{\text{audio}}(D) = \text{听觉通道的认知负荷}
  3. 负荷差的绝对值|L_visual - L_audio| 两条通道负荷不平衡的程度，差距越大用户越容易疲劳。
    ∣Lvisual(D)−Laudio(D)∣=双通道负荷差\left| L_{\text{visual}}(D) - L_{\text{audio}}(D) \right| = \text{双通道负荷差}
  4. 最优信息密度D* 通过 argmin 找到让负荷差最小的信息密度，此时用户不偏不倚、游刃有余。
    D∗=arg⁡min⁡D∣Lvisual(D)−Laudio(D)∣D^{*} = \mathop{\arg\min}_{D} \left| L_{\text{visual}}(D) - L_{\text{audio}}(D) \right|

设计验证

小林所在的餐厅每月做一次顾客满意度回访：菜好不好吃、服务到不到位、有没有听错的时候。回访结果直接决定下个月的培训重点。多模态交互设计同样需要严谨的验证——不能“我觉得好用”就算数，要用数据说话。

设计验证有三大支柱：任务完成率（用户能不能顺利完成点菜/查询/设置）、主观满意度（用户觉得好不好用、愿不愿意再试）、交互效率（完成一个任务需要几步、多少秒）。三个维度的得分加权综合，就形成了对设计方案的整体评价。

餐厅的回访发现顾客普遍觉得“菜单字太小”——于是小林建议重新排版。同理，原型测试如果发现用户频繁在语音播报时长按跳过，说明内容冗余，就该精简播报；如果发现用户盯着屏幕不知道下一步做什么，说明状态不可见，就该优化视觉提示。设计验证不是一次性的检查，而是“测试-发现问题-修改-再测试”的迭代循环，让多模态方案在实际使用中越磨越顺。

Q=αR+βS+γTQ = \alpha R + \beta S + \gamma T
这个公式表示：综合质量分 Q 等于任务完成率 R、满意度得分 S、交互效率得分 T 的加权和，其中 α、β、γ 是三个权重系数。
  1. 任务完成率R 在测试中成功完成任务的用户比例，反映基本功能是否可靠。
    R=任务完成率R = \text{任务完成率}
  2. 满意度得分S 用户主观评分，来自问卷态度量表或访谈反馈。
    S=用户体验满意度S = \text{用户体验满意度}
  3. 交互效率得分T 完成任务的步数或时长折算的分数，越快越好。
    T=交互效率得分T = \text{交互效率得分}
  4. 加权综合Q 通过 α、β、γ 三个权重（通常由业务目标决定）加权合成为总分，用于对比不同方案。
    Q=αR+βS+γTQ = \alpha R + \beta S + \gamma T

AI 应用场景

车载语音助手：驾驶中的多模态护航

阶段：交互架构设计 + 反馈设计

解决的问题：驾驶时驾驶员视线和双手被占用，纯屏幕操作不安全；纯语音又无法清晰展示导航候选路线。传统方式的痛点是“用屏幕会分心，用语音说不清”，AI 多模态方案用“语音发起意图 + 屏幕展示候选 + 语音播报关键提示”的联合分工解决。

具体案例：理想汽车的车载助手如果收到“我饿了”的语音指令，会先语音确认“为您找到 3 家餐厅”，同时在中控屏展示 3 张餐厅卡片。驾驶员可以说“第二家”或轻点屏幕完成选择，系统随即语音播报“开始导航，全程 12 分钟”。

智能电视语音点播：用屏幕兜底识别模糊

阶段：容错策略

解决的问题：家庭场景噪声大、影片名易混淆（“蜘蛛侠”有 N 个版本），纯语音识别成功率低且反复重试惹人烦。AI 多模态方案用屏幕候选列表做兜底，把“让用户重说”变成“让用户点选”。

具体案例：用户说“我想看蜘蛛侠”，电视屏幕立刻展示《蜘蛛侠：英雄归来》《蜘蛛侠：平行宇宙》等候选海报。语音识别若不完全确定，系统会问“您想看哪一个？”同时高亮第一推荐，用户说“第三个”或按遥控器确认即可。

手机语音助手：从通用到懂你

阶段：个性化与情感化

解决的问题：传统语音助手对所有人都用同一套话术，推荐结果千篇一律。AI 多模态个性化通过用户画像建模，在屏幕端展示个性化推荐卡片，在语音端用自然语气播报，让助手“记得你”。

具体案例：小爱同学依据用户历史记录，在早晨的屏幕卡片上显示“你常喝的咖啡店今天有买一送一活动”，同时语音播报一句话摘要。用户说“帮我看看”就进入详情页——推荐呈现在屏幕上，交互通过语音完成。

Python 演示

python61 行
"""多模态语音+屏幕混合交互设计模拟器根据任务类型、环境噪声、可注视时间决策交互模态, 并模拟屏幕兜底纠错"""  class MultimodalService:    """多模态服务模拟器: 模拟语音+屏幕双通道的协作决策"""     def __init__(self):        self.recog_count = 0        self.fallback_count = 0        self.remember_map = {}     def decide_mode(self, task_type, noise_level, glance_time):        """根据任务类型、噪声水平和可注视时间决策模态"""        voice_score = {            "simple_command": 0.9 - noise_level * 0.5,            "complex_browsing": 0.2,            "confirmation": 0.1,        }.get(task_type, 0.5)        screen_score = {            "simple_command": 0.3,            "complex_browsing": 0.9,            "confirmation": 0.8,        }.get(task_type, 0.5)        if glance_time < 2:            screen_score *= 0.4        if voice_score >= screen_score:            return "voice"        if screen_score > voice_score:            return "screen"        return "joint"     def screen_confirm(self, recognized_text, candidates):        """语音识别失败后, 屏幕展示候选列表做兜底纠错"""        self.recog_count += 1        for cand in candidates:            if self._match(recognized_text, cand):                self.fallback_count += 1                return cand        return candidates[0]     def _match(self, text, cand):        """简易匹配: 判断识别文本与候选是否存在字符重叠"""        return cand[:2] in text or text[:2] in cand     def run_scene(self, task_type, noise_level, glance_time, candidates):        """执行一个完整场景: 决策模态 + 可能的屏幕兜底"""        mode = self.decide_mode(task_type, noise_level, glance_time)        print("场景: %s, 噪声: %.1f, 可注视时间: %d秒" % (task_type, noise_level, glance_time))        print("推荐模态: %s" % mode)        if mode != "voice":            result = self.screen_confirm("宫保几丁", candidates)            print("屏幕兜底结果: %s" % result)        print("识别次数: %d, 兜底次数: %d" % (self.recog_count, self.fallback_count))  if __name__ == "__main__":    svc = MultimodalService()    svc.run_scene("complex_browsing", 0.2, 5, ["宫保鸡丁", "酸菜鱼", "红烧肉"])
目的：实现一个多模态交互模拟器，根据任务类型、环境噪声和可注视时间推荐交互模态，并在语音识别失败时用屏幕候选列表完成兜底纠错。
  1. voice_score = ...根据任务类型和噪声水平计算语音通道的得分，噪声越大得分越低。
  2. screen_score = ...按任务类型计算屏幕通道得分，复杂浏览任务天然适合屏幕。
  3. if glance_time < 2: screen_score *= 0.4如果用户没时间看屏幕，就大幅降低屏幕得分。
  4. def screen_confirm(...)模拟语音识别失败后，屏幕展示候选列表让用户点选的过程。
  5. if cand[:2] in text or text[:2] in cand用最简单的字符重叠判断识别文本和候选是否匹配。
  6. if __name__ == "__main__":让脚本既可被 import 又可直接运行。

常见误区

误区屏幕的作用是给语音配“字幕”，把语音识别结果转成文字显示出来，用户“看得到”就完成了多模态。

正解真正的多模态混合交互是语音和屏幕各司其职、互补增益。屏幕不只是语音的“字幕”，它承担着候选列表、状态展示、确认纠错等语音无法高效完成的任务。就像小林递菜单不是为了把口述内容抄写在纸上，而是为了让顾客看到菜品全貌和价格。

为何常见：早期语音产品确实只用屏幕展示识别文本，给人们留下了“屏幕=语音字幕”的刻板印象。

误区为了让用户安心，语音播报和屏幕提示同时铺满所有信息，感觉“很全面、双保险”。

正解多模态反馈过多会造成认知过载。反馈设计讲究“一致性下的分工”——语音简洁播报关键状态，屏幕详细展示可回顾的信息，而不是两者都变成信息轰炸。就像小林不会一边对你喋喋不休一边塞给你一本 200 页的菜单。

为何常见：设计师本能地担心用户漏掉信息，于是双通道重复播报，结果用户反而不知道该看哪儿、听哪儿。

误区语音识别失败时，最好的办法是礼貌地说“抱歉没听清，请再说一遍”，多试几次总会成功。

正解多模态容错的关键是“换通道兜底”——语音识别不准时，屏幕立刻展示候选列表让用户点选，既快又准。反复让用户重说会严重消耗耐心，而屏幕兜底把“重说一遍”变成“点一下”，认知成本完全不同。

为何常见：纯语音交互时代只能靠重试和澄清，屏幕加入后很多人的思维还停留在旧方案。

误区个性化 = 记住用户叫什么、上次点了什么，然后每次打招呼时喊出名字就行。

正解个性化是系统性地维护用户的偏好权重向量，动态调整推荐排序、播报语速、展示内容。一个真正懂你的助手，会在你赶时间时缩短播报、在你常听播客更新时第一时间提醒。记住名字只是冰山一角。

为何常见：“记住名字”最容易实现也最容易在演示中出效果，导致被误认为是个性化的全部。

面试题

Q1. 多模态语音+屏幕混合交互中，“语音”通道最擅长的场景是？

单选题 · easy

  • A.展示复杂表格数据
  • B.快速表达操作意图← 正确答案
  • C.呈现长篇文章内容
  • D.浏览商品图片列表

答案：B。语音通道擅长传递意图和情绪，一句话就能表达“我想吃辣的”这样的完整指令。复杂表格、长文章和图片列表都更适合屏幕展示，就像小林口头推荐适合快速沟通，但菜单细节得靠看。

Q2. 下列哪项最符合多模态交互的“互补”特性？

单选题 · easy

  • A.屏幕和语音同时播报相同内容
  • B.屏幕列表兜底语音识别不确定← 正确答案
  • C.只用语音忽略屏幕展示
  • D.把语音转成滚动文字展示

答案：B。互补意味着两条通道各展所长：语音负责快速表达，屏幕负责展示候选列表。同时播报相同内容属于冗余，只用语音忽略屏幕是多模态的反面，把语音转文字只是换了一种展示形式，没有互补分工。

Q3. 在“复杂信息浏览”任务中，交互架构设计应优先选择哪种模态？

单选题 · mid

  • A.语音主导整个过程
  • B.屏幕主导浏览操作← 正确答案
  • C.完全离线运行模式
  • D.随机切换交互模态

答案：B。复杂信息浏览（如比价、选航班）需要用户反复对比，屏幕天然适合展示结构化信息。语音主导会让用户记不住前面的选项，随机切换会造成混乱。屏幕主导是这类任务的最优解，与决策公式中“复杂浏览任务屏幕适配度高”一致。

Q4. 反馈设计原则中“多模态一致性”指的是什么？

单选题 · mid

  • A.语音与屏幕反馈语义一致← 正确答案
  • B.语音反馈必须附带音效
  • C.屏幕颜色需要每帧变化
  • D.所有反馈使用同样字体

答案：A。多模态一致性指语音和屏幕两条通道在语义上不能冲突——语音说“酸菜鱼”，屏幕就不能显示“水煮鱼”。音效、颜色、字体都是风格问题，不是一致性的核心。就像小林口头说“宫保鸡丁”，单子上写的也必须是“宫保鸡丁”。

Q5. 语音识别失败后，屏幕兜底纠错的第一步通常是什么？

单选题 · mid

  • A.让用户从头重说一遍
  • B.屏幕展示候选列表纠错← 正确答案
  • C.直接执行识别内容
  • D.永久关闭语音功能

答案：B。屏幕兜底的核心是“换通道纠错”——识别失败时展示候选列表，让用户点选或二次语音确认。让用户重说是纯语音时代的笨办法，直接执行错误内容会引发严重后果，关闭语音更是因噎废食。

Q6. 个性化满意度公式 S = Σ w_i × match_i 中，w_i 表示什么？

单选题 · hard

  • A.第 i 类用户偏好的权重← 正确答案
  • B.用户当前的年龄数值
  • C.屏幕显示亮度的数值
  • D.语音输出的音量大小

答案：A。w_i 是第 i 类偏好的重要度权重，比如“菜系偏好”权重大于“背景音乐偏好”。年龄、亮度、音量都不是偏好权重。整个公式通过加权求和，把各偏好项的匹配度合成一个综合满意度，正如小林知道口味偏好比座位偏好更要紧。

Q7. 认知负荷均衡公式 D\* = argmin_D |L_visual(D) - L_audio(D)| 的目标是？

单选题 · hard

  • A.消除所有屏幕内容
  • B.让视觉听觉负荷差最小← 正确答案
  • C.最大化语音播报时长
  • D.让屏幕信息展示更多

答案：B。公式的 argmin 找的是让视觉负荷与听觉负荷之差的绝对值最小的信息密度，目的是让两条通道负荷均衡。消除屏幕、最大化播报、单边加信息都会让负荷差变大，与公式目标相反。

Q8. 下列哪些属于多模态混合交互的容错策略？

多选题 · mid

  • A.识别错误分级管理← 正确答案
  • B.屏幕候选列表兜底← 正确答案
  • C.关键操作渐进式确认← 正确答案
  • D.完全依赖语音反复重试

答案：ABC。识别错误分级让不同风险的错误用不同方式处理，屏幕候选列表在识别失败时提供兜底，渐进式确认保护高风险的删除/转账操作——三者都是多模态容错策略。完全依赖语音反复重试是纯语音时代的旧思路，正是多模态要解决的问题。

Q9. 在模态选择决策中，下列哪些属于影响环境可用度的因素？

多选题 · hard

  • A.环境噪声水平高低← 正确答案
  • B.用户注视屏幕时间← 正确答案
  • C.屏幕亮度的档位值
  • D.用户的双手是否空闲← 正确答案

答案：ABD。环境噪声影响语音通道的可用度，注视时间影响屏幕通道的可用度，双手空闲与否决定用户能否操作屏幕。屏幕亮度档位是系统自身的显示参数，不属于环境可用度范畴。

Q10. 关于多模态反馈设计，下列哪些说法是正确的？

多选题 · extreme

  • A.语音反馈永远优先于屏幕
  • B.屏幕可展示状态的详细内容← 正确答案
  • C.语音与屏幕反馈保持一致← 正确答案
  • D.所有信息必须双通道呈现

答案：BC。屏幕适合展示状态详情等语音难以承载的信息，语音和屏幕的一致性是多模态的基础要求。但反馈并不总是语音优先——需要精确对比时屏幕更重要；也不是所有信息都得双通道呈现，否则会造成冗余和认知过载。