想象你组织了一场“追剧达人资格赛”:选手要从头追完一部 60 集的电视剧,考题包括“第 3 集的伏笔在第 50 集如何回收”、“名场面出现在第几集第几分钟”、以及“用一句话给全剧写安利”。人类追长剧会犯困、会倍速、会忘剧情,AI 看长视频同样面临“记不全、看不完、找不着”的窘境。长视频理解(Long Video Understanding)评测,就是为这种“追剧能力”设计的一整套标准化考卷:它用数分钟到数小时的视频,专门考验模型的时序依赖建模、信息冗余过滤和关键事件检索能力。本篇就带你从“出题人”的视角,看懂长视频评测基准的原理、主流榜单与评测流程。
掌握长视频评测基准,你就能用一套标准化“考卷”量化多模态模型对长片视频的真实理解水平,为模型选型、效果优化和业务落地提供最可信的证据。
可视化演示
展示长视频长程时序依赖建模、关键帧冗余处理与压缩、以及不同视频长度下模型准确率变化曲线。
本节配有交互动效(进入视口后自动加载,约 3KB)。
'+_captions.temporal+'
长视频界定
想象你在追一部 60 集的电视剧:刷一集 45 分钟的正片,和刷一条 15 秒的搞笑短视频,追起来完全是两种体验。长视频理解里的“长”,就像“正片”与“短视频”之间的分界线——它不是模糊的形容词,而是一道定义考题范围的分水岭。
在视频评测领域,业界大致把“数秒到数十秒”的竖屏内容归为短视频,把“数分钟到数小时”的影视剧、纪录片、监控录像、赛事回放归为长视频。评测基准中的长视频,通常要求模型一口气面对几百甚至上千帧画面,而不是几张“高光截图”。时长量级的不同,让长视频评测天然区别于图像分类或短视频标签任务。
时长跨度直接决定了评测的采样策略。假设一段总时长为 T 秒的视频,我们希望均匀抽取 N 帧送入模型,那么相邻两帧的时间间隔就是:
追 60 集的剧,你得盘算“每几集看一次”才能不漏剧情又不累死;长视频评测同样要规划“每几帧抽一次”。时长的界定不是学术抠字眼,它直接决定了考卷的难度系数和阅卷成本。
- 总时长 T视频的完整长度,单位秒。类比整部剧从第一集片头到最后一集片尾的总时长。
- 采样帧数 N模型计划观看的帧数,由上下文窗口和算力上限共同决定。
- 间隔数 N−1首尾帧之间只有 N−1 个“空隙”,就像 5 根手指之间只有 4 个指缝。
- 采样间隔 Δt总时长除以空隙数,得到相邻两帧之间的时间距离,单位也是秒。
核心挑战
追长剧最怕三件事:记不住第 3 集埋下的伏笔、忍受注水剧情里的角色尬聊、想找“名场面”却要拖进度条翻半天。这三件事,恰好就是长视频理解模型面前的三座大山。
第一座山是时序依赖(temporal dependency,又称长程依赖):后段剧情的语义往往要从前段画面中推导,模型必须把“很久以前”的信息带到“现在”来用。第二座山是信息冗余:一部长片里大量帧是重复、无关的“日常镜头”,像每集都有的喝水、走路、空镜。第三座山是关键事件检索:真正决定剧情走向的关键情节,可能只占全片极小的时间比例。
冗余程度可以用一个简单的量来刻画:设全片共 T 帧,其中 K 个关键事件平均持续 t̄ 帧,则有效信息占比为 K×t̄/T,冗余度 R 为:
冗余度越高的剧,越需要“倍速加跳进度条”地追;对模型来说,处理冗余帧既烧算力又稀释注意力。理解这三座大山,是看懂后续所有评测设计的前提。
- 关键事件数 K全片中承载核心情节的事件个数,类比整部剧的“名场面”数量。
- 平均时长 t̄每个关键事件平均持续多少帧,反映事件的“密度”。
- 有效信息占比所有关键事件帧数之和占全片帧数的比例。
- 冗余度 R用 1 减去有效占比,剩下的就是可压缩、可跳过的“注水”部分。
评测任务设计
一场正经的“追剧达人资格赛”不会只问“男主角叫什么”,而是分题型考察:能不能说出“为什么第 20 集女主哭了”(因果推理)、能不能定位“名场面在第几集第几分钟”(检索能力)、能不能一句话概括整部剧(主线提炼)。长视频评测的任务设计,正是这样分门别类的。
对应地,评测基准通常包含三类核心任务。一是时序问答(temporal QA):提出必须横跨多个时间点的推理问题,通常以选择题形式出现,考因果与顺序。二是事件定位(event localization):要求模型输出关键事件发生的起始时间区间,考跨帧检索。三是视频摘要(video summarization):让模型生成覆盖主线的高层语义描述,考全局归纳。这三类任务从“点、段、面”三个层次覆盖理解能力。
对时序问答这类判别式任务,最基础的评分方式是准确率:
选择题像判断题,事件定位像“报出第几集第几分”,摘要像“一句话安利”。三种题型合起来,才能测出一名 AI“追剧达人”的完整功力——记住了什么、看懂了什么、能不能讲出来。
- 正确数 N_correct模型回答与标准答案一致的题目数量。
- 总题数 N_total评测集中全部有效题目的数量。
- 比值 Acc两者相除得到 0 到 1 之间的准确率。
主流基准
不同的辅导机构会出不同的模拟卷,各有侧重:有的考记忆力,有的考理解力,有的专门出刁钻的偏题。长视频领域也有一批这样的“模考卷”,其中三套最常被引用。
Video-MME 是一套多模态长视频基准,覆盖影视、纪录片、监控等多种视频类型,用人工标注的选择题全面评估模型的视听理解;EgoSchema 聚焦第一人称视角视频,强调对细粒度动作的时序推理,题目非常“硬核”;LongVideoBench 则主打长上下文问答,专门考验模型在大量冗余帧里检索信息的能力。它们共同构成当前长视频评测的主流坐标系。
基准发布方通常会把视频按类别或难度分组计分,再加权合成总分,防止模型只在某一类题上“刷分”。综合得分定义为:
想当“追剧达人”不能只在爱情剧上满分,正剧、悬疑、纪录片都得能打。加权得分就是防止偏科的考卷设计——这也是多套基准并存、互为补充的原因。
- 类别数 C考卷按视频类型或难度划分出的题目组数量。
- 各类准确率 a_i模型在第 i 类题目上的准确率。
- 权重 w_i每类题在总分中的占比,所有权重加起来等于 1。
- 加权和 S把每类得分乘以权重后逐项累加,得到综合分。
评测指标
只看“答对多少题”远远不够。一个考生可能蒙对答案,却在理由里满口瞎编——就像剧透党猜对了结局,却把凶手说成另一个人。所以阅卷还要看“会不会编”。长视频评测的指标体系,正是围绕“准、全、真”三个字展开的。
在事件定位这类任务中,业界最常用精确率(Precision)和召回率(Recall)两个视角,再用 F1 综合。P 衡量检出的结果里真正关键的比例,防“误报”;R 衡量真正的关键事件中被检出的比例,防“漏报”。两者的调和平均就是 F1:
除 F1 外,评测还会报告幻觉率——模型生成与视频内容不符描述的占比,以及时序一致性——模型推理顺序与真实时间轴的吻合程度。这三个维度就像“追剧复盘”:说得准不准、记得全不全、有没有凭空编梗。
- 精确率 P检出的候选事件中真正关键的比例,别名“查准率”。
- 召回率 R真正关键事件中被成功检出的比例,别名“查全率”。
- 分子 2PR对 P 和 R 做乘积,保证两者都高时结果才好看。
- 调和平均 F1除以 P+R 完成归一化,得到 0 到 1 之间的综合分。
记忆机制
人类能追完 60 集的剧,靠的是“前情提要”、记笔记和弹幕帮忙回忆。模型没有无限脑容量,它的“记忆”就是上下文窗口和采样策略。上下文窗口(context window)限定了模型一次能处理的帧数或标记数——就像一个人同时只能记住最近几集的大致剧情。
面对数小时的长视频,模型不可能把每一帧都送进窗口,于是有了三类工程化手段:帧采样(均匀采样、关键帧采样、随机采样),把密集画面变稀疏;信息压缩(池化、降采样、标记融合),减少每帧占用的标记数;以及检索增强,先粗筛出可能关键的片段再精读。它们的本质都是在“看得全”和“看得清”之间找平衡。衡量压缩程度的核心指标是压缩比:
追剧达人聪明的追法是“每集快进只看冲突段落”,模型的采样与压缩机制正是这种“聪明追法”的工程化。评测长视频理解,本质上也是在测一套记忆策略在超长剧情面前是否够用。
- 输入标记数 L_in原始视频全部帧经视觉编码器产生的标记(token)总量。
- 输出标记数 L_out经过采样与压缩后真正进入大模型推理的标记数量。
- 压缩比 η输出与输入的比值,η 越小代表信息压缩越激进。
评测流程
办一场“追剧达人资格赛”不能草率:得先出题,再统一组织,最后批卷分析。长视频评测同样是一个闭环流程,任何一环出错都会让榜单失去公信力。
流程的第一步是数据构建:收集原始视频、切分片段、清洗噪声、由人工标注标准答案,并明确按时长、场景、难度分层;第二步是评测执行:所有模型必须使用统一的输入格式和采样策略,在相同硬件环境下运行,保证结果可复现;第三步是结果分析:按指标、按视频类型、按时长区间拆解得分,定位模型的系统性短板,再反哺数据构建与模型迭代。
为了保证多次评测结论稳定,基准通常会对不同样本的得分按置信度加权。设第 i 次评测的得分为 s_i、置信度为 c_i,则最终得分为:
一次模考有偶然性,多场考试按“押题押得准”的方式加权,才有资格宣称某位 AI“追剧达人”是真水平。标准化的评测流程,正是长视频基准能够被学界和业界共同采信的根本原因。
- 单次得分 s_i模型在第 i 个样本或第 i 轮评测中的分数。
- 置信度 c_i该样本评测结果的可信程度,通常与样本量、标注一致性正相关。
- 分子加权和把每次得分乘以其置信度再累加。
- 分母归一除以置信度之和,得到 0 到 1 之间的加权平均分。
AI 应用场景
安防监控长视频检索
阶段:模型选型与评测
解决的问题:传统安防靠人盯数小时监控录像,极易疲劳漏看关键画面。部署方先用长视频评测基准(如 Video-MME)在监控类长视频上筛选模型,再上线做跨帧事件检索,能把“找一次目标人物”从数小时人工翻看压缩到分钟级自动定位。
具体案例:某园区部署安防系统,接入数十路摄像头,全天累计数百小时视频。评测工程师用长视频基准对比三个多模态模型的事件定位 F1,选出召回率最高的模型投入生产,成功在午夜录像中自动锁定一起异常闯入事件。
影视平台自动拉片与摘要
阶段:效果评估与迭代
解决的问题:影视平台为每部剧写简介、剪高光,人工拉片成本高且标准不一。平台用长视频理解基准的“视频摘要”与“时序问答”任务作为验收标尺,量化候选模型的抓主线能力,再辅助人工完成内容运营,效率提升数倍。
具体案例:某视频平台引入长视频评测集,对 3 款视频理解模型的摘要准确率、幻觉率排序,最终选定幻觉率最低的模型自动生成 200 部经典剧的“一句话安利”初稿,运营人员只需编辑润色。
体育赛事回放智能分析
阶段:评测驱动的优化迭代
解决的问题:整场球赛长达两小时,教练组想快速找出“第 3 节那次关键抢断”。长视频评测基准把“事件定位”能力变成可对比的分数,帮助分析系统持续优化采样与检索策略,最终让“回放检索”从“手动拖进度条”变为“一句话找片段”。
具体案例:某体育科技公司用 LongVideoBench 风格的任务集迭代自己的视频模型,将关键事件定位 F1 从 0.62 提升到 0.81 后上线,解说员在赛后 5 分钟内即可调用任意战术片段回放。
Python 演示
# -*- coding: utf-8 -*-"""长视频评测模拟:对比不同均匀采样间隔下的关键事件检出效果"""import random def build_video(total_frames=600): """模拟一段 600 帧(约 10 分钟)的长视频,埋入 5 个关键事件""" random.seed(42) video = ['normal'] * total_frames events = [(40, 70), (150, 180), (300, 320), (420, 460), (520, 560)] for s, e in events: for i in range(s, min(e, total_frames)): video[i] = 'key' return video, events def uniform_sample(video, interval=30): """均匀采样:每 interval 帧抽 1 帧,返回 (帧下标, 帧标签) 列表""" return [(i, video[i]) for i in range(0, len(video), interval)] def evaluate(samples, events): """评测:精确率 = 采样命中事件的比例;召回率 = 事件被检出的比例""" hits = 0 for fidx, _ in samples: for s, e in events: if s <= fidx < e: hits += 1 break precision = hits / len(samples) if samples else 0.0 recalled = 0 for s, e in events: if any(s <= fidx < e for fidx, _ in samples): recalled += 1 recall = recalled / len(events) if events else 0.0 if precision + recall == 0: return precision, recall, 0.0 f1 = 2 * precision * recall / (precision + recall) return precision, recall, f1 def main(): video, events = build_video() key_frames = sum(e - s for s, e in events) print('视频总帧数: %d' % len(video)) print('关键事件帧占比: %.1f%%' % (key_frames * 100.0 / len(video))) print('信息冗余度 R = 1 - %.3f = %.3f' % (key_frames / len(video), 1 - key_frames / len(video))) print('---') for interval in [60, 30, 15]: samples = uniform_sample(video, interval) prec, rec, f1 = evaluate(samples, events) print('均匀采样间隔 %d 帧: 采样 %d 帧, 精确率=%.2f, 召回率=%.2f, F1=%.2f' % ( interval, len(samples), prec, rec, f1)) if __name__ == '__main__': main()
video = ['normal'] * total_frames把 600 帧全部初始化成“普通帧”,模拟大量注水内容events = [(40, 70), (150, 180), (300, 320), (420, 460), (520, 560)]用起止帧对定义 5 个关键事件for i in range(s, min(e, total_frames)): video[i] = 'key'在时间轴上“埋入”关键事件return [(i, video[i]) for i in range(0, len(video), interval)]均匀采样:每隔固定帧数抽一帧precision = hits / len(samples) if samples else 0.0精确率:采样帧里真命中事件的比例recall = recalled / len(events) if events else 0.0召回率:5 个关键事件被检出的比例f1 = 2 * precision * recall / (precision + recall)F1 调和平均,综合衡量“准”与“全”for interval in [60, 30, 15]对比三种采样密度,观察指标如何随“追剧频率”变化
常见误区
误区我本来以为是把短视频模型的抽帧数量翻倍就行,反正帧数够了,理解自然就上去了。结果发现评测分数纹丝不动,甚至更低了。
正解把 20 集剧每集看两遍,不等于会追剧。长视频的核心难点在跨帧的时序推理:模型要建立“第 3 集的伏笔”和“第 50 集的爆发”之间的因果关系。盲目堆帧数只会增加计算量,不会自动带来时序理解能力。评测基准专门设计时序问答任务,就是为了把“看得多”和“看得懂”区分开。
为何常见:短视频评测里抽帧就能八九不离十,让人误以为“帧数 = 理解力”,忽略了长视频特有的跨时域建模难度。
误区我以为只要把模型上下文窗口拉满,把所有帧都塞进去,模型就是无敌的“最强大脑”了。
正解窗口大不等于记得住重点。把整部剧原速看完的人,反而可能被大量注水剧情带偏,抓不住主线。更大窗口意味着更重的计算成本和更严重的信息稀释,评测中还会出现“窗口大了、分数降了”的反直觉现象。长视频评测看的不是“能塞多少”,而是“用有限的记忆答对多少题”。
为何常见:厂商宣传“长上下文”时只强调容量上限,让人误以为容量就是能力的全部。
误区我想均匀抽帧肯定是最公平的,每个时间段都被照顾到,不会偏袒哪一段剧情。
正解均匀采样恰恰会漏掉转瞬即逝的关键事件。类比“每 10 集只瞄一眼”,恰好错过第 8 集 3 秒钟的擦肩而过。评测里关键事件可能只占全片 5% 的帧,均匀采样的命中概率极低。所以基准会考察多种采样策略的对比,甚至引入检索增强来“重点关照”高信息片段。
为何常见:“均匀”听起来随机无偏,直觉上很合理,但忽略了长视频中信息分布极不均匀这一事实。
误区我一直觉得模型评测就是报一个准确率数字,谁高谁就强,其他指标都是花架子。
正解长视频评测必须同时看幻觉率、时序一致性、F1 等指标。一个模型可能选择题蒙对了,但对事件的时序描述完全错乱,或在回答里加入视频中根本不存在的“剧情”——就像剧透党说对结局却编错凶手。只报准确率会掩盖这些致命缺陷,误导模型选型。
为何常见:传统分类任务“准确率至上”的惯性思维,让初学者忽略了生成式模型特有的“答非所问式瞎编”风险。
面试题
Q1. 长视频理解评测中,“长视频”通常指什么量级的视频?
- A.几秒钟的手机竖屏视频
- B.几分钟到几小时的视频← 正确答案
- C.只有单张静态图片
- D.不超过十帧的动图
答案:B。长视频的“长”指分钟到小时量级,考验跨帧时序推理。几秒竖屏、单张图片、十帧动图都属于短视频范畴,无法体现长程依赖与信息冗余的挑战。
Q2. 长视频中“信息冗余”指的是什么?
- A.分辨率过高导致存储变大
- B.大量无关或重复的普通帧← 正确答案
- C.模型参数量太大消耗显存
- D.数据集标注文件重复
答案:B。信息冗余像追剧时的注水戏份,即大量“日常镜头”不承载关键情节。选项 A 是存储问题,C 是算力问题,D 是数据管理问题,均与视频内容本身的冗余无关。
Q3. 时序依赖是指长视频理解中的什么现象?
- A.后段的语义依赖前段的信息← 正确答案
- B.视频播放速度需要一致
- C.每帧必须按顺序存储
- D.模型推理时间前后恒定
答案:A。时序依赖就是“前情提要决定后段剧情”,模型要理解主角为何愤怒,必须先看前面的冲突。B 是播放设置,C 是存储方式,D 是推理性能,都不属于语义理解范畴。
Q4. 均匀采样策略的主要缺陷是什么?
- A.每帧都被重复计算
- B.采样顺序无法还原
- C.容易漏掉短暂的关键事件← 正确答案
- D.只能处理彩色画面
答案:C。关键事件可能只有几秒,均匀采样像“每十集只瞄一眼”,极易错过转瞬即逝的名场面。A 是重复计算问题,B 是排序问题,D 与色彩通道有关,均与采样缺陷不符。
Q5. 长视频理解的核心挑战包括哪些?
- A.时序依赖的建模← 正确答案
- B.信息冗余的压缩← 正确答案
- C.关键事件的跨帧检索← 正确答案
- D.视频文件名的解析
答案:ABC。三大核心挑战是时序依赖、信息冗余、关键事件检索,对应追剧时的“记伏笔、忍注水、找名场面”。文件名解析是工程细节,不属于视频理解的核心难点。
Q6. 上下文窗口在长视频评测中的含义是什么?
- A.模型单次能处理的帧数← 正确答案
- B.视频播放器窗口大小
- C.数据集标注的文本长度
- D.训练时使用的显卡数量
答案:A。上下文窗口决定模型“一次能记多少剧情”,是帧数与标记数的上限。播放器窗口是 UI 概念,标注文本长度是数据概念,显卡数量是算力概念,均与模型记忆容量无关。
Q7. F1 分数在长视频事件定位评测中的作用是什么?
- A.只衡量事件预测的正确数量
- B.精确率与召回率的调和平均← 正确答案
- C.只衡量预测事件的时间偏移
- D.模型推理速度的倒数
答案:B。F1 = 2PR/(P+R),同时惩罚“漏检”和“误检”,是事件定位的核心综合指标。A 只覆盖精确或召回之一,C 是时序误差度量,D 是速度指标,都与 F1 的定义不符。
Q8. 下列哪些属于主流长视频理解基准?
- A.Video-MME 长视频基准← 正确答案
- B.EgoSchema 视频时序基准← 正确答案
- C.LongVideoBench 长视频集← 正确答案
- D.ImageNet 图像分类标准
答案:ABC。Video-MME 覆盖多类型长视频,EgoSchema 聚焦第一视角时序推理,LongVideoBench 主打长上下文问答。ImageNet 是静态图像分类基准,衡量单帧识别,不属于长视频理解。
Q9. 评测长视频模型时,“幻觉率”衡量的是什么?
- A.模型答非视频内容的比例← 正确答案
- B.模型生成视频的帧率
- C.模型训练时的显存占用
- D.模型对提示词的长度限制
答案:A。幻觉指模型“编造不存在的情节”,比如把凶手说成视频里没出现的人。B 是生成帧率,C 是显存占用,D 是提示词限制,都与内容真实性无关。
Q10. 一套完整的长视频评测流程包括哪些环节?
- A.评测数据集的构建← 正确答案
- B.统一采样与推理执行← 正确答案
- C.多维指标的结果分析← 正确答案
- D.视频文件格式的压缩
答案:ABC。完整闭环是数据构建、评测执行、结果分析三环节,保障基准公平、可复现、可诊断。文件格式压缩属于存储工程细节,不属于评测流程的必要环节。