想象你走进一家号称“日日新”的超级医院——它不像普通医院那样只有孤零零的急诊室,而是每层楼都有专家科室,每个科室派一位顶尖名医主诊。更神奇的是,这些医生还会互相“会诊”:一位医生既能看X光片,又能听你描述病情,还能当场给你开电子病历。你不需要住院,通过一条挂号专线,远程专家就能给你开“数字药方”。这家医院每天都在升级,今天新增一个能听懂方言的导诊员,明天多出一台能重建3D器官影像的设备。商汤科技的“日日新”(SenseNova)大模型体系,就是这么一座AI超级医院:模型家族矩阵是它的专家团队,多模态能力是它的全科会诊,API接入是它的挂号流程,行业落地方案是它在各地开设的分院,而与GPT、文心一言的对比,则是它的口碑排行榜。读完这份指南,你就能学会“对症挂号”,轻松把这座AI医院搬进你的项目里。
对AI应用开发者而言,掌握商汤日日新的模型矩阵、多模态能力和API接入方法,意味着在构建行业应用时多了一把“国产化、多模态、强合规”的利器,能更快完成技术选型和实际落地。
目录
可视化演示
展示SenseNova模型矩阵架构、多模态能力流转与API接入全流程,切换模式观察商汤日日新大模型从模型矩阵到行业落地的完整链路。
本节配有交互动效(进入视口后自动加载,约 3KB)。
SenseNova模型矩阵架构 日日新整合语言、视觉、视频、语音四大模型,构建从感知到决策的完整AI能力链 SenseNova平台提供一站式接入,开发者可按需调用不同模型能力组合 Matrix = {LLM, Vision, Video, Voice} 模型矩阵设计使日日新在视觉密集型场景中具备显著优势
模型家族矩阵:医院里的各科名医
走进日日新超级医院,你并不会看到一个什么都会一点、但什么都不精的“万金油”医生,而是看到分工明确的专家团队。这家医院的大厅挂着一张“科室导引图”,上面写着:文本对话找商量医生,画图找秒画医生,做数字人找如影医生,搞3D重建找琼宇、格物医生。每个专家只钻研一项,但合在一起,就能覆盖大部分“病情”。
这套“科室导引图”背后,是商汤“日日新”(SenseNova)大模型体系。它不是单一模型,而是一个模型家族:商量(SenseChat)擅长文本对话、理解与推理,相当于内科专家;秒画(SenseMirage)专门做文生图,把一句“请画一只戴帽子的猫”变成图片,相当于影像科医生;如影(SenseAvatar)能生成会说话、有表情的数字人,相当于全科医生助理;琼宇(SenseSpace)和格物(SenseThings)负责3D空间与物体生成,相当于3D影像科。
当我们面对一个具体需求时,核心问题不是“哪个模型最强”,而是“哪个专家最适合我的病”。这在数学上是一次模型路由选择:
回到医院的比喻:你因为咳嗽来到医院,前台会根据症状把你的号挂到呼吸科,而不是骨科。日日新模型家族的矩阵设计,让你像在综合医院里按需挂号一样,自由组合不同专家的能力,而不是去一家只有一位医生的私人诊所。
- 候选模型集合 \(\mathcal{M}\)把日日新家族里的所有模型装进一个“通讯录”,每个模型是通讯录里的一位医生,各有各的专长。
- 打分函数 \(\text{Score}_m(\text{task})\)给每个模型对当前任务的适配程度打分,比如“写文案”任务给商量打95分,给秒画打40分。
- 取最大值 \(\arg\max\)在所有分数中挑出最高的那个模型,决定最终调用谁,这就是“对症挂号”的数学表达。
多模态能力:一人分饰多角的全科医生
在传统医院里,拍片子要去影像科,查血要去检验科,问诊要去内科,你得上上下下跑好几个楼层。但日日新的多模态能力,就像一位既能看X光片,又能听你描述病情、还能当场开口沟通的全科医生,把文字、图像、视频、语音四类“检查报告”一次性看完。
技术上的“全科会诊”叫做多模态理解与生成。日日新体系里,这一能力拆成四条线:视觉理解负责看懂图片内容并回答相关问题,比如“这张照片里有没有红绿灯”;图像生成负责把文字描述变成高清图片,这是秒画模型的主场;视频处理能对视频做内容理解、镜头分析,甚至生成短视频片段;语音交互则支持语音识别和合成,让对话不再局限于打字。
多模态的关键在于“融合”——把三种不同形态的信息揉在一起,综合判断。可以写成:
回到比喻:全科医生最大的价值是“少跑腿”。所以当你需要同时处理图文音视频的复杂任务时,日日新的多模态能力能让你不再把数据拆给五套系统,一个模型就能完成会诊。
- 多模态特征输入 \(V, T, A\)图像、文字、声音先被各自的编码器转成数字向量,就像把X光片、化验单、录音带都翻译成医生能读的标准格式。
- 特征对齐与映射三种特征的维度不同,先通过线性映射放到同一个“语义房间”里,才方便互相比较和融合。
- 融合输出 \(\text{Out}\)把对齐后的特征拼接在一起,交给解码器生成最终结果,比如一段描述、一张图片或一个回答。
API接入方法:从挂号到取药的完整流程
在大医院看病,第一步永远是挂号。你不需要认识某位名医,只需要在挂号窗口办好一张就诊卡。对开发者来说,这张“就诊卡”就是商汤大模型开放平台上的API Key。
整个接入流程像极了医院就诊:首先,在商汤大模型开放平台注册账号并创建应用,相当于办就诊卡;然后,阅读接口文档,搞清楚每个接口的入参和出参,相当于研究科室分布图;接着,在代码里配置API Key和模型名称,相当于在挂号机上选择科室;最后,发起HTTP请求,把用户的问题装进请求体里,等模型返回答案。
其中最重要的是费用管理。大模型按Token计费,Token可以理解为模型眼中的“字数碎片”:一个中文汉字大约对应1至2个Token。总费用是输入和输出两段分别计价之和:
回到医院比喻:接入日日新API的过程,就像在大医院看病一样丝滑——你不需要自己盖一栋医院(训练模型),挂个号就能请到各科专家。开发者的工作重心从“造模型”变成了“用好模型”。
- 输入Token数 \(N_{\text{in}}\)你发送给模型的提示词(prompt)会被切分成一个个Token,这一步叫分词,相当于护士先量个血压,记录基础数据。
- 输出Token数 \(N_{\text{out}}\)模型回答的内容也会被切分成Token,作为“医嘱”的篇幅。输出单价通常高于输入单价,因为生成比理解更“费力”。
- 总费用相加把输入和输出两段的费用分别算出来再相加。注意,输出Token通常比输入更贵,原因是模型生成是逐步推理,计算成本更高。
行业落地案例:超级医院开分院
一家医院的医术再好,如果只在总院坐诊,外地的病人就很难受益。成熟的医院会去各地开设分院,把专家团队和诊疗流程复制过去。商汤日日新做的事情正是如此:针对不同行业的痛点,把大模型能力封装成“专科分院”。
在金融行业,日日新被用来做智能风控、合同审核和投研分析。比如一笔贷款申请进来,模型能自动扫描合同中的风险条款,并给出风险评估,大幅减少人工审核时间。在医疗健康领域,商汤发挥视觉基因优势,把影像辅助诊断和病历结构化结合起来:医生上传一张CT片,模型能标出疑似病灶,同时自动生成规范的影像描述。在智慧城市场景,视频分析是强项——摄像头拍到的城市事件(违章停车、垃圾堆积)能被实时识别并自动派单。在教育领域,日日新则化身为教学助手:自动批改作文、生成个性化练习题、甚至扮演英语口语陪练。
衡量这些项目值不值得做,企业最关心的是一笔经济账:
回到比喻:分院开得成功,证明总院的诊疗方案是可复制的。同样,日日新在金融、医疗、城市、教育等行业的落地案例,证明大模型不是实验室里的玩具,而是能真正产生商业价值的“可复制诊所”。
- 年收益 \(\text{Gain}\)项目上线后带来的收入增长或成本节省,比如金融风控系统让坏账减少120万元。
- 总投入 \(\text{Cost}\)包括API调用费、系统集成开发、模型调优、运维人力等所有支出,就像建分院的选址、装修、招聘费用。
- 回报率计算净收益除以总投入并乘以100%,如果结果大于50%,通常说明项目回报不错;如果为负,则要反思方案。
竞品对比分析:医院实力口碑榜
病人选医院时,会看科室深度、专家水平、医疗设备、服务价格和排队时间。企业选大模型也一样,需要多维度比较。我们把日日新放到“医院排行榜”上,与三家知名“医院”做对比。
与GPT系列相比:GPT在英文世界和通用代码生态上沉淀更久,像一个国际化综合医院;而日日新在中文语境理解、多模态视觉方面优势明显,更像一家“中文环境+视觉特色”的专科强院。与文心一言相比:文心一言背靠百度的搜索生态和智联业务,日活在C端更强;日日新则在3D生成、数字人、视频理解等视觉链条上更完整。与通义千问相比:通义千问有阿里云的企业服务生态加持,云上部署很方便;日日新的差异化在于商汤多年积累的视觉算法壁垒和国产化私有部署经验。
怎么科学地对比?不能只看一项指标,要给不同维度分配权重,再算综合分:
回到医院比喻:没有一家医院是“所有科室都是全国第一”的。日日新的优势在于中文环境下的多模态视觉能力、国产化合规和行业Know-how,劣势是海外生态和英文社区沉淀还有待补强。选型时请先搞清自己看重什么,再对比排行榜。
- 确定评估维度与打分 \(s_i\)先定义“中文理解”“多模态”“生态完善度”“部署合规性”等维度,每个维度给模型打一个分数。
- 设定权重 \(w_i\)不同企业关注点不同,比如做政府项目更看重合规,权重就给高一些。所有维度权重加起来等于1。
- 加权求和得综合分 \(S\)把每个维度得分乘上权重再累加,谁的总分高,谁就更适合你的业务场景。
适用场景推荐:对症挂号选模型
最后一步,也是最实际的问题:我的项目该用哪个模型?这就像病人挂号,头疼不一定要挂脑科——可能是近视引起的,也可能只是没睡好。模型选错了,再强的能力也帮不上忙。
我们可以按场景给出推荐。企业办公:写周报、做会议纪要、分析文档合同,首选商量(SenseChat),它的文本对话和长文本理解能力足够应付;内容创作:做海报配图、短视频封面、营销文案配图,用秒画加如影,一个负责图像生成,一个负责数字人播报;智能客服:既要听懂用户说话,又要能看懂用户上传的截图,最好选商量结合多模态接口的方案,实现“图文音”三位一体的客服体验;代码开发:让模型帮忙写函数、解释代码、生成SQL,用商量的代码增强版,它在代码补全和Bug定位上受过专门训练。
但场景推荐只是起点,真正做决策时,我们要用性价比来量化:
回到比喻:对症挂号的本质是“在合适的科室花合适的钱”。企业办公、内容创作、智能客服、代码开发,每个场景都有日日新家族里最适合的那位“专家”。学会算性价比,你就能在真实项目中做出既不浪费成本、又不牺牲效果的选型决策。
- 效果得分 \(Q\)用测试集评估模型在你业务上的表现,比如客服场景下准确率85%,对应得分0.85。
- 总成本 \(C\)把单次调用的API费用、额外开发量、运行维护成本折算成统一单位,比如“每月成本”。
- 性价比 \(V\)效果除以成本,得到“每花一块钱能买到多少效果”。如果两家模型效果接近,选成本低的;如果效果差距大,则要看差值是否值回票价。
AI 应用场景
智能客服与工单分析
阶段:模型调用与推理阶段
解决的问题:传统客服系统依赖关键词匹配,用户问“我的退款怎么还没到”,系统常常答非所问。接入日日新的商量对话模型后,系统能理解上下文语义,先判断用户情绪,再生成准确回复;对无法解决的问题,还能自动打上工单标签并推送给人工客服,工单分类准确率大幅提升。
具体案例:某电商平台接入SenseNova API后,每日自动处理约2万条客服会话,首响时间从3分钟降到10秒,工单误派率下降35%。同时,多模态接口还能识别用户上传的截图(如支付失败页面),帮助客服更快定位问题。
多模态内容安全审核
阶段:数据预处理与模型推理阶段
解决的问题:传统内容审核靠人工抽查,效率低且有漏网之鱼。日日新的多模态能力可以同时分析文本评论和配图,识别违规内容、敏感标识和不良场景,做到“图文联动”审核。
具体案例:某内容社区平台使用日日新多模态接口,对用户上传的图文帖进行实时扫描,单日处理量达100万条,违规内容召回率从70%提升到92%,审核人力成本下降60%。
金融合同智能审阅
阶段:Prompt工程与模型推理阶段
解决的问题:金融合同动辄几十页,律师逐条审阅耗时巨大。通过Prompt工程构造“合同审阅角色”,让商量模型抽取关键条款、识别风险点并给出修改建议,将合同初审时间从3小时压缩到15分钟。
具体案例:某券商法务部用日日新API搭建合同审阅助手,对“违约责任”“提前终止条款”等高风险条款进行自动标注,上线三个月完成合同审阅1200份,人工复核量减少75%。
Python 演示
import requestsimport json API_KEY = "your_api_key_here"BASE_URL = "https://api.sensenova.cn/v1" def chat_with_sensenova(prompt, model="sensechat-5"): """调用商汤日日新·商量对话模型""" headers = { "Content-Type": "application/json", "Authorization": "Bearer " + API_KEY } payload = { "model": model, "messages": [{"role": "user", "content": prompt}], "max_tokens": 512, "temperature": 0.7 } resp = requests.post( BASE_URL + "/chat/completions", headers=headers, data=json.dumps(payload, ensure_ascii=False).encode("utf-8") ) if resp.status_code == 200: data = resp.json() return data["choices"][0]["message"]["content"] return "Error " + str(resp.status_code) + ": " + resp.text if __name__ == "__main__": print("商量回答:", chat_with_sensenova("请用一句话介绍上海"))
BASE_URL = "https://api.sensenova.cn/v1"商汤大模型开放平台的服务端地址,相当于医院的总服务台。"Authorization": "Bearer " + API_KEY身份凭证,告诉平台“我是哪位患者”,对应就诊卡。"model": "sensechat-5"指定调用模型家族里的哪一位“专家”,相当于挂号时选科室。"messages": [{"role": "user", "content": prompt}]会话消息体,把用户的提问封装成模型可读的格式。"max_tokens": 512限制回答的最大长度,避免“医嘱”写太长把费用拉高。data=json.dumps(payload, ensure_ascii=False).encode("utf-8")把中文请求体序列化为UTF-8字节流,防止乱码。resp.json()["choices"][0]["message"]["content"]从返回的JSON里逐层取出最终文本答案,就像在病历本上找到诊断结论那一栏。
常见误区
误区我一直以为商汤是家做安防摄像头的公司,那日日新肯定只擅长图像识别和图像生成,文本对话能力就是个“赠品”,要写文案还不如用GPT。
正解日日新是一个完整的模型家族,商量(SenseChat)是专门的文本对话模型,在多轮对话、长文本理解和中文写作上都有独立能力。就像一家医院里既有眼科也有内科,你不能因为这家医院眼科出名,就认定它治不了感冒。多模态和文本对话是并行的“科室”,不是谁附属于谁。
为何常见:商汤以计算机视觉起家,公众对它的认知停留在“人脸识别公司”,容易用老印象覆盖新业务。
误区我要把业务数据通过API发给日日新处理,那这些数据是不是会被商汤拿去训练模型?那我公司的机密不就泄露了?
正解调用API做推理和用数据训练模型是两件完全不同的事。API调用时,数据进入模型做一次前向计算并返回结果,就像你去医院看病,医生给你诊断但不会把你的病历印成教材发给全校学生。商汤等大模型平台通常会在服务协议中明确数据使用边界,企业还可以通过私有化部署进一步保证数据安全,但具体要看签合同,不能一概而论。
为何常见:很多人分不清“模型推理”和“模型训练”两个阶段,把接口调用想象成了“上传数据当教材”。
误区多模态嘛,就是给文本模型加个眼睛,能看图回答问题而已。视频、语音、3D那些都是营销噱头。
正解多模态的本质是打通多种信息形态的理解与生成。日日新体系里,视觉理解、图像生成、视频处理、语音交互是四条独立且可组合的能力线,比如“看懂一段视频并生成文字摘要”需要图像和文本的深度协同,“数字人播报”则需要语音、文本、视觉三路融合。这像全科医生既会看X光片也会听诊,不是简单的“加了副眼镜”。
为何常见:“模态”本身是抽象术语,人们容易用最熟悉的“看图说话”来理解它,低估了多模态融合的复杂度。
误区OpenAI的大模型是全球最强,商汤这种国产模型肯定差一大截,做应用直接调GPT的API不就行了?
正解不同模型有各自的主场。GPT在英文通用对话和海外生态上确实强,但日日新在中文语义理解、中文行业数据、多模态视觉(尤其是图像和3D)上反而有优势。更关键的是,很多政府和金融客户要求数据不出域,必须用国产化模型私有化部署。这就像选医院:协和擅长心外科,华山擅长神外科,非要让心外科医生给你做脑手术,再好的医院也白搭。
为何常见:人们习惯用“品牌知名度”代替“实际评测结果”,忽略了模型在不同语言和行业数据上的差异。
面试题
Q1. 商汤“日日新”大模型体系的英文名是?
- A.SenseNova← 正确答案
- B.OpenNova
- C.SenseGPT
- D.NovaMind
答案:A。商汤的大模型体系名为“日日新SenseNova”,取“苟日新,日日新,又日新”之意。OpenNova、SenseGPT、NovaMind都是编造的名称,面试中要记住这个官方英文名。
Q2. 下列哪个是商汤日日新体系中的文本对话模型?
- A.商量SenseChat← 正确答案
- B.秒画SenseMirage
- C.如影SenseAvatar
- D.琼宇SenseSpace
答案:A。商量(SenseChat)负责文本对话与推理;秒画负责文生图;如影负责数字人;琼宇负责3D空间生成。用医院比喻,商量是内科医生,其余是影像科和3D影像科。
Q3. 要调用商汤日日新API,第一步应该做什么?
- A.注册开放平台并获取API Key← 正确答案
- B.直接编写代码调用接口
- C.购买NVIDIA GPU服务器
- D.收集数据训练自定义大模型
答案:A。接入大模型API的第一步是在开放平台注册并创建应用获得API Key,相当于先办就诊卡。不需要自己买GPU或训练模型,那是“自己盖医院”的思路。
Q4. 调用日日新API时,请求头中身份认证字段应如何设置?
- A.直接拼接在URL查询参数里
- B.请求头携带Bearer Token认证← 正确答案
- C.使用Basic Auth账号密码认证
- D.无需任何认证即可直接访问
答案:B。通常用 Authorization: Bearer {API_KEY} 作为身份凭证,浏览器和服务器都清楚这是标准Bearer Token方案。放进URL会泄露密钥,Basic Auth不够通用,无认证不可能。
Q5. 某次调用中输入1000个中文字符(约1500 tokens),输入单价0.03元/千tokens,输出500 tokens,输出单价0.06元/千tokens,单次成本是多少?
- A.0.045元
- B.0.075元← 正确答案
- C.0.150元
- D.0.030元
答案:B。成本 = 输入tokens数×输入单价 + 输出tokens数×输出单价 = 1500/1000×0.03 + 500/1000×0.06 = 0.045 + 0.03 = 0.075元。注意输入输出各自独立计费,不能只算一段。
Q6. 商汤日日新的多模态能力包括哪些方向?
- A.视觉理解能力← 正确答案
- B.图像生成能力← 正确答案
- C.视频处理能力← 正确答案
- D.超导芯片计算能力
答案:ABC。多模态涵盖视觉理解、图像生成、视频处理、语音交互四大方向。超导芯片是硬件领域,与多模态无关。多模态的本质是打通文字、图像、视频、音频之间的理解与生成。
Q7. 在多模态融合公式 \( \text{Out} = \text{Combine}(V, T, A) \) 中,V/T/A分别代表什么?
- A.视频、文本、音频特征← 正确答案
- B.数值、文本、分析过程
- C.视觉、温度、角度参数
- D.验证、测试、应用阶段
答案:A。V是视觉特征(Vision),T是文本特征(Text),A是音频特征(Audio),三者经过对齐和融合后生成综合输出。就像全科医生把X光片、化验单、录音汇总成一份诊断。
Q8. 某金融公司部署日日新智能风控系统,年收益120万元,总成本80万元,ROI是多少?
- A.40%
- B.50%← 正确答案
- C.66.7%
- D.120%
答案:B。ROI = (收益−成本)÷成本×100% = (120−80)÷80×100% = 40÷80×100% = 50%。ROI为50%说明项目回报良好,是评估行业落地价值的关键指标。
Q9. 下列哪些是商汤日日新的行业落地方向?
- A.金融智能风控← 正确答案
- B.医疗影像辅助诊断← 正确答案
- C.智慧城市视频分析← 正确答案
- D.高端芯片设计与制造
答案:ABC。金融风控、医疗影像、智慧城市是商汤日日新明确的行业落地方向。芯片设计与制造涉及硬件工艺,不在其官方行业解决方案范围内。
Q10. 某企业日均2000次API调用,每次输入1000 tokens(单价0.03元/千tokens),输出800 tokens(单价0.06元/千tokens),每月30天总成本约为?
- A.1,080元
- B.4,680元← 正确答案
- C.2,160元
- D.9,360元
答案:B。单次成本 = 1×0.03 + 0.8×0.06 = 0.03+0.048 = 0.078元;每日成本 = 0.078×2000 = 156元;每月成本 = 156×30 = 4680元。此类计算是面试常考的成本估算题,注意单位换算。