想象你走进一座名为“阶梯餐厅”的美食广场——它不用明火,用算法;不产食材,产内容。这座广场从下往上共有四层台阶:第一层接待文字订单,第二层能读懂图片里的构图与细节,第三层会分析一段视频的前因后果,第四层则听得懂你说的话。最神奇的是,无论你从哪个门递进订单,最终都能拿到一份融合了多模态信息的完整回答,就像所有大厨共享一个中央料理台。这座“阶梯餐厅”就是阶跃星辰推出的Step系列大模型:一个统一处理文本、图像、视频、语音的国产多模态大模型家族。接下来,我们将从“菜单”开始认识它的家族谱系,再去后厨看看多模态能力,学习如何“点单”(API接入),最后对比其他餐厅、判断这家餐厅是否适合你的“口味”。

岗位关联

学会评估Step大模型的多模态能力与接入成本,你将在多模态应用选型和落地中少走弯路,直接复用本文的方法完成项目交付。

目录
  1. 可视化演示
  2. 模型家族概览
  3. 多模态核心能力
  4. API接入流程
  5. 能力评测方法
  6. 行业应用案例
  7. 竞品对比分析
  8. 选型场景推荐
  9. AI 应用场景
  10. Python 演示
  11. 常见误区
  12. 面试题

可视化演示

展示Step大模型的五大能力拓扑、多模型基准测试对比与应用场景生态覆盖。

本节配有交互动效(进入视口后自动加载,约 3KB)。

Step模型能力拓扑 五大能力:NLP、代码、视觉、音频、多模态 Capability = f(Params, Data, Training) Step大模型以1T+参数支撑多模态统一能力

模型家族概览

走进“阶梯餐厅”大堂,迎宾墙上画着一张“家族谱系图”:有的厨师专攻家常小炒,有的负责国宴大餐,还有一位“总厨”坐镇后厨统筹全局。餐厅的底气不在某一口锅,而在整套梯队。阶跃星辰同样如此,它没有押注单一模型,而是推出Step系列家族——从基础款到旗舰款,满足轻重不同的任务需求。

Step系列中,Step-1是能力均衡的文本基座,适合日常对话与文本生成;Step-1V加入了视觉理解,能看图回答问题;Step-1X更进一步,支持图像、视频、音频等多种输入;Step-2则主打千亿至万亿级参数与更强推理,面向高难度任务。不同型号像餐厅里不同的“套餐档位”,开发者按需点餐,而统一的入口就是阶跃星辰开放平台。

参数规模分级是选型的第一道分水岭。小模型参数少、响应快、成本低,适合简单分类或摘要;大模型参数多、理解深,适合复杂推理和多模态融合。尤其值得关注的是Step-2采用的MoE混合专家架构——总参数量虽大,但每次推理只激活部分专家,像餐厅雇了上百位厨师,一桌菜却只需几位上手。

把三个量相乘,就像点餐时数一数“几位厨师上灶、菜单单价、点了几道菜”。心里有这本账,你才不会在选型时被“万亿参数”的招牌吓到或迷惑——毕竟账单上写的,永远是你真正吃到的那几道菜。

单次推理成本=激活参数量×每Token单价×Token数\displaystyle \text{单次推理成本} = \text{激活参数量} \times \text{每Token单价} \times \text{Token数}
这张“账单公式”提醒你:MoE大模型总参数虽大,决定成本的是每次真正“上灶”的激活参数。
  1. 激活参数量一次推理真正参与计算的参数规模,MoE架构下远小于总参数量,是成本的第一决定因素。
    激活参数<总参数\text{激活参数} < \text{总参数}
  2. 每Token单价开放平台按Token计费时给出的单位价格,不同模型规格价格不同,是账单的第二决定因素。
    ctoken=每千Token价格c_{\text{token}} = \text{每千Token价格}
  3. Token数输入与输出内容被分词后的总数量,等于输入Token数与输出Token数之和。
    Token数=输入Tokens+输出Tokens\text{Token数} = \text{输入Tokens} + \text{输出Tokens}

多模态核心能力

这层台阶的招牌是“全能大厨”。文本大厨能把零散素材写成通顺文案;视觉大厨扫一眼照片就能报出菜品和配料;视频大厨能追完整段烹饪过程并总结要点;语音大厨则一边听你说话一边理解弦外之音。四位大厨共享同一套味觉体系——这,就是Step的多模态融合能力。

Step系列的核心卖点在于“一次请求,多种输入”。以Step-1V为例,它可以把文字提示和图片URL一起塞进请求,模型先理解图片内容再结合文字要求作答;Step-1X则把音频、视频也纳入理解范围,让“看图说话”升级为“看视频、听语音、写报告”,甚至支持内容生成任务。

多模态的本质是让不同模态的信息在同一个语义空间中对齐。模型先用各自的编码器把图像、音频、视频变成统一的向量表示,再由大模型统一推理。这好比四位大厨把不同食材处理后都放到中央料理台,由总厨统一调味装盘——而不是各自炒一盘菜再倒在一起。

有了综合分,你就能像米其林评审一样,在不同模型之间做“盲测对比”。别只盯着单项分,多看融合后的综合表现——真实业务从不会只来一种“食材”,多模态才是这座阶梯餐厅真正的招牌。

多模态综合分=0.4×S文本+0.3×S图像+0.2×S视频+0.1×S语音\displaystyle \text{多模态综合分} = 0.4 \times S_{\text{文本}} + 0.3 \times S_{\text{图像}} + 0.2 \times S_{\text{视频}} + 0.1 \times S_{\text{语音}}
权重越高代表该模态在评测中的分量越重,文本是地基,语音是锦上添花。
  1. 权重设定四项权重和为1,按模态在真实任务中的使用频率与难度设定,文本最核心。
    0.4+0.3+0.2+0.1=10.4 + 0.3 + 0.2 + 0.1 = 1
  2. 模态得分每个模态在对应评测集上的正确率或人类偏好分数,取值0到1。
    S模态∈[0,1]S_{\text{模态}} \in [0, 1]
  3. 加权求和将四项得分乘权重后相加,得到可用于横向对比的综合指标。
    综合分=∑iwiSi\text{综合分} = \sum_{i} w_i S_i

API接入流程

想吃到阶梯餐厅的菜,你不能闯进后厨,得先办会员卡再按流程点单。Step的接入也是同一套“手续”:注册账号、拿到密钥、组装请求、解析响应。看似简单,但每一步都有讲究,任何一个环节出错都会让“订单”卡在门口。

Step开放平台的API与OpenAI保持兼容,开发者可以把ChatGPT的调用代码稍作修改就能切换过来,迁移成本极低。请求体是一个JSON对象,核心字段包括model(指定模型名)、messages(对话消息列表)、max_tokens(最大生成长度)和temperature(控制随机性,数值越低回答越保守)。

多模态请求的秘诀藏在messages的content字段中:文本是普通的text类型,图片则用image_url类型传入URL。返回的响应里,choices数组中的message.content就是模型生成的回答,usage字段给出本次调用的Token消耗——成本账单就在这里。

把延迟拆成三段,就像把上菜时间拆成“传菜路程”“后厨排队”“烹饪时间”。哪一段拖后腿就优化哪一段,而不是盲目加钱升套餐——点对单,事半功倍。

总延迟=T网络传输+T队列等待+T模型推理\displaystyle \text{总延迟} = T_{\text{网络传输}} + T_{\text{队列等待}} + T_{\text{模型推理}}
想让聊天体验更“跟手”,最值得优化的是推理时间,其次是减少无效传输。
  1. 网络传输时间请求与响应数据在网络间往返的时间,受数据量和带宽影响,图片请求更耗时。
    T传输=数据量带宽T_{\text{传输}} = \frac{\text{数据量}}{\text{带宽}}
  2. 队列等待时间请求到达服务器后排队等待调度的时间,高峰期显著拉长总延迟。
    T排队=服务端排队时长T_{\text{排队}} = \text{服务端排队时长}
  3. 模型推理时间模型参数前向计算并逐Token生成的时间,与输出长度正相关,是主要优化对象。
    T推理∝输出Token数T_{\text{推理}} \propto \text{输出Token数}

能力评测方法

一家餐厅好不好吃,食客说了算。大模型也一样,不能只听发布会吹嘘,要在统一的“盲测标准”下打分。Step在进入你的项目之前,先得通过一轮标准化体检,用公开基准检验它的真实功底。

大模型评测常用MMLU检验综合知识,用MMBench测试多模态理解。Step系列在中文语境上表现扎实,尤其在中文长文本、复杂图表、细粒度图像识别方面有竞争力。评测不仅要看“能不能答对”,还要看“答得多快、花多少钱”——一位大厨手艺再好,上菜像蜗牛也不行。

全面的评测要覆盖三个维度:能力维度的准确率、性能维度的响应速度、经济维度的单次成本。三个维度相互制约,准确率高但速度慢的模型未必适合实时场景。所谓“好模型”,是权衡之后的“适合模型”。

像食客打分要兼顾口味、环境、价格一样,评测模型也要把准确率、延迟、成本放进同一张表格横向比较。这样选出来的模型,才不是“纸面冠军”——而是能在真实业务里扛住考验的可靠大厨。

准确率=正确预测样本数测试样本总数×100%\displaystyle \text{准确率} = \frac{\text{正确预测样本数}}{\text{测试样本总数}} \times 100\%
准确率是所有评测的“地基指标”,但它只回答“对不对”,不回答“快不快、贵不贵”。
  1. 正确预测样本数模型输出与标准答案一致的样本个数,分子越大越好。
    N正确N_{\text{正确}}
  2. 测试样本总数评测集中全部样本数,作为分母保证得分可横向比较。
    N总N_{\text{总}}
  3. 百分比换算分子除以分母乘以100%,得到0到100的直观分数。
    准确率=N正确N总×100%\text{准确率} = \frac{N_{\text{正确}}}{N_{\text{总}}} \times 100\%

行业应用案例

阶梯餐厅开业以来,一批“回头客”每天准时来吃饭。他们的共同点,是手里攥着大量多模态数据,苦于传统工具处理不了——这些真实需求,正好撞在Step的枪口上。

第一个回头客是电商客服系统。过去用户发一张破损商品照片,客服只能干瞪眼。接入Step-1V后,模型自动识别图片问题、生成处理建议,客服只需审核确认。第二个回头客是短视频平台,用Step的视频理解能力批量审核内容、自动打标签。第三个是教育公司,学生拍照上传几何题,模型现场生成分步解题过程。

这些场景的成本逻辑是相通的:用Token计费。图片、视频输入会转换成大量Token,成本远高于纯文本。部署前要算清“人工替代账”——只有AI成本低于被替代的人力成本,落地才真正划算,否则只是把人力成本换成了算力账单。

餐费再便宜,也得看值不值。把“人工账”和“Token账”摆在一起算清楚,你才能理直气壮地告诉老板:这家“餐厅”,我们吃定了。

净节省成本=人工单价×任务量−Token单价×Token消耗量\displaystyle \text{净节省成本} = \text{人工单价} \times \text{任务量} - \text{Token单价} \times \text{Token消耗量}
落地前先算这笔“省钱账”,避免“AI很聪明但越用越亏”的尴尬。
  1. 人工处理成本员工处理单次任务的人工折算单价乘以每月任务总量,代表现状基线。
    人工成本=p人工×N任务\text{人工成本} = p_{\text{人工}} \times N_{\text{任务}}
  2. AI处理成本每次调用消耗的Token总量乘以Token单价,多模态输入会显著放大该数值。
    AI成本=cToken×NToken\text{AI成本} = c_{\text{Token}} \times N_{\text{Token}}
  3. 净节省两者相减,正值代表有经济动力用AI替代,负值则需要重新评估方案。
    净节省=人工成本−AI成本\text{净节省} = \text{人工成本} - \text{AI成本}

竞品对比分析

食客总会货比三家:阶梯餐厅和隔壁的“国际大酒店”到底差在哪?选模型跟选餐厅一样,得拿出对比清单逐项打勾。Step的竞争对手不仅有GPT系列,还有国内众多大模型,每个对手都有各自的招牌菜。

与GPT系列相比,Step在中文语境理解、本土化服务响应、价格上更有亲和力;与国内模型相比,Step的多模态融合深度和开放平台稳定性构成了差异化亮点。但也要冷静看到短板:面向开发者的第三方工具链和社区生态还相对年轻,遇到疑难杂症时参考资料不如老牌厂商丰富。

健康的对比方式是多维加权评分。把能力、价格、速度、生态四个维度分别打分,再按业务重要性加权求和。不同业务权重不同:实时应用把速度权重拉高,成本敏感型业务把价格权重拉高——没有统一的“最好”,只有“最合适”。

加权评分就像试菜打分表——口味、上菜速度、环境分别占多少分,由你定。带着自己的权重表去对比竞品,才不会被他人的榜单带偏,也能更客观地看见Step的优势与短板。

综合得分=∑i=1nwi×si,∑i=1nwi=1\displaystyle \text{综合得分} = \sum_{i=1}^{n} w_i \times s_i, \quad \sum_{i=1}^{n} w_i = 1
权重由你的业务说了算,没有“万金油”模型,只有“最匹配”模型。
  1. 维度得分每个维度(能力、价格、速度、生态)标准化后的0到100分。
    si∈[0,100]s_i \in [0, 100]
  2. 业务权重按业务需求为各维度分配权重,总和为1。
    w1+w2+⋯+wn=1w_1 + w_2 + \cdots + w_n = 1
  3. 加权求和各维度得分乘以权重后累加,总分越高越适合当前业务。
    综合得分=w1s1+w2s2+⋯+wnsn\text{综合得分} = w_1 s_1 + w_2 s_2 + \cdots + w_n s_n

选型场景推荐

说完了菜单和后厨,最后回答最关键的问题:这家餐厅适合你吗?选型不是跟风,而是需求驱动的理性决策。你需要像点菜一样,先明确“今天想吃辣还是清淡”,再决定要不要走进这扇门。

适合选择Step的场景有三个特征:一是任务涉及图片、视频、语音等多模态输入;二是需要中文语境下的深度理解;三是开发周期紧、希望快速接入成熟API。反过来,如果业务只是简单文本问答、对成本极其敏感,轻量模型可能更合适,不必为用不上的视觉能力买单。

推荐使用加权评分做最终决策。四个维度中“模态匹配度”权重最高,它直接回答“模型能不能干这个活”;其次是成本分、速度分,最后是生态分。评分不必复杂,关键是让团队在统一框架下比较候选模型,避免拍脑袋。落地时务必小流量试点,用真实数据验证效果再全量推广。

把推荐指数当成菜单上的“今日推荐指数”,分数越高越值得尝鲜。但记住:指数只是参考,落地前务必用小流量试点验证真实效果——毕竟没人会不尝一口就买下整桌菜。

推荐指数=0.4×M模态+0.3×C成本+0.2×S速度+0.1×E生态\displaystyle \text{推荐指数} = 0.4 \times M_{\text{模态}} + 0.3 \times C_{\text{成本}} + 0.2 \times S_{\text{速度}} + 0.1 \times E_{\text{生态}}
模态匹配度占四成,因为“能力不匹配”是选型失败的第一原因。
  1. 模态匹配度分应用所需模态与模型支持模态的重合程度,按缺失项扣分。
    M=模型支持且业务需要的模态数业务需要的模态数M = \frac{\text{模型支持且业务需要的模态数}}{\text{业务需要的模态数}}
  2. 成本与速度分按预算与延迟阈值达成情况打分,满分100。
    C,S∈[0,100]C, S \in [0, 100]
  3. 生态分按文档完善度、社区活跃度、工具兼容性打分。
    E∈[0,100]E \in [0, 100]

AI 应用场景

智能客服多模态工单处理

阶段:应用集成与推理调用

解决的问题:传统客服系统只能解析纯文本,用户一旦上传截图、语音留言,系统就“失明失聪”,只能转人工,处理效率极低。Step的多模态理解能力让机器直接看懂图片、听懂语音,自动生成工单摘要与处理建议,把客服从重复劳动中解放出来。

具体案例:某电商平台在售后模块接入Step-1V,用户上传商品破损照片,模型自动识别问题类型、评估严重程度并生成理赔话术草稿,客服审核后一键发出。上线后平均工单处理时长缩短约60%,用户满意度同步提升,客服团队得以聚焦高难度投诉。

企业知识库视频内容检索

阶段:多模态数据处理与知识提取

解决的问题:传统知识库只能索引文档文字,无法处理视频会议、培训录像中的画面信息,大量隐性知识沉睡在视频里。Step的视频理解能力可批量提取镜头关键信息、生成章节摘要,让“搜视频”像“搜文档”一样简单,极大释放存量内容价值。

具体案例:某培训机构将1000小时课程录像交给Step做离线分析,自动生成章节标题、知识点摘要和问答索引。学员输入自然语言问题,系统直接定位到对应视频片段,学习效率大幅提升,课程复购率也因此上涨。

教育场景拍照解题助手

阶段:多模态推理与内容生成

解决的问题:传统拍照搜题依赖题库匹配,遇到新题、手写题或复杂几何图形就无能为力,覆盖天花板明显。Step的图文理解能直接看懂题目内容并给出中文解题步骤,不依赖题库,从“检索答案”升级为“生成解答”。

具体案例:某在线教育App接入Step-1V,对学生上传的几何题照片进行实时解析,生成分步解题过程与考点归纳。新题覆盖率高,手写体识别稳定,且支持中文教育语境下的术语表达,学生满意度显著提升。

Python 演示

python52 行
"""调用阶跃星辰Step多模态大模型API的示例脚本""" import osimport requests API_KEY = os.getenv("STEP_API_KEY", "sk-your-key-here")BASE_URL = "https://api.stepfun.com/v1"MODEL = "step-1v"  # 按官方控制台实际模型名替换  def multimodal_chat(prompt, image_url=None, max_tokens=512, temperature=0.7):    """发送文本与可选图片到Step模型,返回回答与Token用量"""    content = [{"type": "text", "text": prompt}]    if image_url:        content.append({"type": "image_url", "image_url": {"url": image_url}})    payload = {        "model": MODEL,        "messages": [{"role": "user", "content": content}],        "max_tokens": max_tokens,        "temperature": temperature,    }    resp = requests.post(        f"{BASE_URL}/chat/completions",        headers={"Authorization": f"Bearer {API_KEY}"},        json=payload,        timeout=60,    )    resp.raise_for_status()    data = resp.json()    usage = data.get("usage", {})    answer = data["choices"][0]["message"]["content"]    return answer, usage  def estimate_cost(input_chars, output_tokens):    """估算单次调用成本:1个汉字约折算2个输入token"""    input_tokens = input_chars * 2    cost = input_tokens * 0.001 + output_tokens * 0.002    return cost / 1000  if __name__ == "__main__":    prompt = "请描述这张图片中的主要内容,并判断它属于哪个菜系。"    answer, usage = multimodal_chat(        prompt,        image_url="https://example.com/sample_dish.jpg",    )    print("Step回答:", answer)    print("Token用量:", usage)    total_tokens = usage.get("total_tokens", 64)    cost = estimate_cost(len(prompt), 32)    print(f"估算单次成本: {cost:.6f} 元")
目的:演示如何用Step开放平台的OpenAI兼容接口发送“文本+图片”多模态请求,并估算单次调用成本,可直接复制改造用于生产项目。
  1. def multimodal_chat(prompt, image_url=None, max_tokens=512, temperature=0.7):定义核心函数:文本必填、图片可选,其余参数控制生成长度和随机性。
  2. content = [{"type": "text", "text": prompt}]先放入文本内容,OpenAI兼容协议要求content是结构化对象列表。
  3. content.append({"type": "image_url", "image_url": {"url": image_url}})多模态的关键:把图片URL作为image_url类型追加到消息中,Step才能“看图说话”。
  4. "model": MODEL指定模型为step-1v,切换模型只需改这一个字段,这就是API兼容带来的迁移便利。
  5. resp = requests.post(f"{BASE_URL}/chat/completions", ...)发送POST请求到Step的对话补全接口,即“点单”动作。
  6. resp.raise_for_status()状态码非200时抛出异常,快速暴露密钥错误或限流问题。
  7. data["choices"][0]["message"]["content"]从嵌套JSON中取出模型回答文本,choices下标0表示首个候选回复。
  8. usage = data.get("usage", {})读取Token用量,这是成本账单的数据来源。
  9. input_tokens = input_chars * 2中文场景的经验估算:每个汉字约折算2个Token。
  10. cost = input_tokens * 0.001 + output_tokens * 0.002输入与输出按不同单价计算的成本估算,输出通常更贵。

常见误区

误区我一直以为Step大模型就是“文字+图片”两栖模型,视频、语音只能靠别的模型接着处理,所以项目里的音频分析一直不敢用它。

正解Step系列中的Step-1X等版本是真正的多模态模型,支持视频与音频输入。它像阶梯餐厅的四层台阶都能接待——文本、图像、视频、语音都可以作为请求内容一起传入。音频分析这种需求,完全可以直接向Step提问,不必再额外串联一个语音识别模型,架构更简单、延迟也更低。

为何常见:大多数人对“多模态”的认知停留在图文两模态,接触到的示例代码也以图片为主,自然忽略了Step的音视频能力。

误区我选模型只认参数量,看到Step-2是万亿参数就觉得一定比Step-1V强,不管任务是什么直接选最大的那个。

正解参数量大不代表每次任务都划算。MoE架构下万亿总参数每次只激活一部分,效果和成本都要看激活参数。就像餐厅上百位厨师,你点一碗面也就一位师傅动手。选模型要看任务复杂度、延迟要求和预算,而不是盲目追大,否则就是花大钱办小事。

为何常见:“越大越强”是消费电子时代留下的直觉,厂商宣传时也爱强调总参数,但MoE架构让这个直觉彻底失灵了。

误区我之前只学过OpenAI的调用方式,觉得换一家国产模型就得重新学一套SDK,所以一直拖着没迁移,总觉得迁移成本很高。

正解Step开放平台的API兼容OpenAI格式,改改model字段和base_url就能跑通,连多模态的image_url传参方式都一样,迁移成本远比想象低。就像换了一家餐厅,但点单流程和菜单排版几乎一样——你不需要重新学“怎么吃饭”。

为何常见:大家对“国产模型=封闭生态”有刻板印象,没看过官方文档就默认不兼容,结果错过了一个低门槛的优质选项。

误区我以为多模态就是“图像模型识别图片+语音模型转文字+文本模型写答案”,三段拼接就完事了,反正结果看起来差不多。

正解Step是端到端的多模态融合,不同模态先编码到统一语义空间再联合推理。这就像四位大厨把食材统一处理后放到中央料理台,由总厨一起调味,而不是各自炒一盘再倒在一起。拼接方案会丢失跨模态关联信息,比如“图里的猫正在叫”这种图文声联动的内容,只有真正的融合模型才能理解。

为何常见:早期AI系统确实是“流水线拼接”架构,许多人沿用了旧认知去理解新一代多模态模型,忽略了端到端融合带来的质变。

面试题

Q1. Step系列中主要负责图文理解、支持多模态输入的型号是?

单选题 · easy

  • A.Step-1(纯文本基座)
  • B.Step-1V(图文理解版)← 正确答案
  • C.Step-3(纯文本精简版)
  • D.Step-A(音频生成版)

答案:B。Step-1V 名称中的 V 代表 Vision,专门承担图像与文本的联合理解任务,是“阶梯餐厅”里的视觉大厨。Step-1 偏纯文本基座,Step-A 是音频方向,C 项“纯文本精简版”与 Step-3 的真实定位不符。多模态选型时优先记牢型号命名规律。

Q2. 接入Step开放平台后,首先要拿到什么凭证才能调用API?

单选题 · easy

  • A.注册账号获取API密钥← 正确答案
  • B.下载模型权重到本地
  • C.采购企业专属GPU集群
  • D.自行采集微调训练数据

答案:A。Step采用云服务模式,开发者注册账号并获取API密钥即可调用,无需下载权重或购买GPU。就像去阶梯餐厅吃饭,你得先办一张会员卡(API密钥)才能点单,而不是自己买厨具进后厨。

Q3. 下列关于Step-2 MoE架构的说法,正确的是?

单选题 · hard

  • A.每次推理只激活部分专家← 正确答案
  • B.所有专家参数全部参与计算
  • C.完全取消注意力计算机制
  • D.模型不再需要任何训练数据

答案:A。MoE(混合专家)的核心就是“总参数大、激活参数小”——每次推理通过路由只激活部分专家,像餐厅上百位厨师,一桌菜只有几位上手。B 项恰是 MoE 想避免的,C、D 与架构事实不符。这道题考的是对“稀疏激活”本质的理解。

Q4. 多模态请求中携带图片内容的正确做法是?

单选题 · mid

  • A.content里追加image_url类型对象← 正确答案
  • B.将图片路径写入系统级prompt
  • C.用单独的二进制接口传输图片
  • D.在URL地址栏手工拼接图片链接

答案:A。OpenAI兼容协议中,多模态请求是在content对象列表里追加image_url类型内容。B 项把路径当文字塞进prompt,模型只会把它当字符串;C、D 都不是API规范内的做法。这正是阶梯餐厅“点单”时的标准格式——把图片URL作为一道配菜加进订单。

Q5. API调用总延迟主要由哪三部分组成?

单选题 · mid

  • A.网络传输加排队与模型推理← 正确答案
  • B.数据清洗加标注与模型训练
  • C.代码编译加打包与程序部署
  • D.文件上传加下载与本地备份

答案:A。一次API调用的延迟 = 传输时间 + 排队时间 + 推理时间。对应阶梯餐厅就是“传菜路程 + 后厨排队 + 烹饪时间”,三者中最值得优化的是模型推理时间。B、C、D 描述的是开发或训练阶段,与在线推理延迟无关。

Q6. 下列哪个基准常用于多模态大模型能力评测?

单选题 · mid

  • A.MMBench综合多模态基准← 正确答案
  • B.ImageNet图像分类数据集
  • C.MNIST手写体字符数据集
  • D.CIFAR-10小图片数据集

答案:A。MMBench是专为多模态大模型设计的评测基准,覆盖图文理解、视觉问答等任务。B、C、D 都是传统计算机视觉数据集,只测单一任务,无法评估“看图+理解+推理”的综合能力,就像不能只靠一道凉菜评判整桌宴席。

Q7. 图片输入导致Token成本较高的主要原因是?

单选题 · hard

  • A.图片被编码为大量Token← 正确答案
  • B.图片传输速度太慢导致计费
  • C.模型对图片额外收取固定费
  • D.图片会让模型回答字数翻倍

答案:A。多模态模型会把图片切块编码为大量视觉Token,一张图消耗的Token往往相当于几百甚至上千个汉字,所以成本远高于纯文本。B、C、D 都不是计费机制的真实规则。就像阶梯餐厅里,一张照片“食材”的信息量远超一行文字,自然更费“食材成本”。

Q8. Step系列大模型能够处理的多模态输入类型有?

多选题 · easy

  • A.文本输入与图片输入← 正确答案
  • B.视频输入与音频输入← 正确答案
  • C.气味与触觉等物理信号
  • D.重力与磁场环境传感数据

答案:AB。Step系列支持文本、图像、视频、音频四类输入,对应阶梯餐厅的四层台阶。C、D 属于物理传感器信号,目前不在大模型多模态的输入范围内。记住四类输入,选型时才能准确判断Step能否覆盖你的业务需求。

Q9. 大模型选型时应当重点评估的维度包括?

多选题 · mid

  • A.模态匹配度与能力覆盖← 正确答案
  • B.成本预算与延迟要求← 正确答案
  • C.开发便捷性与生态完善度← 正确答案
  • D.办公场地面积与装修预算

答案:ABC。选型评估的核心是能力、成本、速度、生态四个维度,对应推荐指数公式中的四项。D 是物理空间问题,与模型选型毫无关系。就像选餐厅看口味、价格、上菜速度和口碑,而不是看餐厅大堂摆了几张桌子。

Q10. 关于MoE混合专家架构,下列说法正确的有?

多选题 · extreme

  • A.总参数量远大于激活参数量← 正确答案
  • B.每次推理只路由部分专家参与← 正确答案
  • C.相对等效稠密模型节省推理算力← 正确答案
  • D.每个专家在每次推理中都会被调用

答案:ABC。MoE的核心特征是“总参数庞大、激活参数稀疏”。路由机制每次只调用部分专家,因此比同等总参数的稠密模型节省推理算力。D 恰恰是稠密模型的行为,与MoE相反。就像阶梯餐厅的百人厨师团,一桌菜由几位专长匹配的大师掌勺,其余人待命。