图像理解：图像描述COCO

可视化演示

展示COCO图像描述评测：图像到描述的生成流程、BLEU/CIDEr/METEOR多指标评估、生成质量随模型提升的变化，通过交互理解多模态字幕评测方法。

任务定义

小林第一天到编辑部，主编指着绘本插画说：“你要做的是给每一幅画写配图文字——不是贴一个标签，而是像讲故事一样，把画面里的主体、动作、关系组织成一句话。”小林发现，写“猫”和写“一只猫坐在红色沙发上”完全是两码事：前者只是标记，后者才是描述。

在AI领域，这就是图像描述任务（Image Captioning）：输入一张图片，输出一句通顺自然的自然语言句子。它与图像分类有本质区别——分类输出的是一个离散的类别名（如“猫”），目标检测输出的是物体位置框，而图像描述需要模型组织出“主语+谓语+宾语+修饰”的完整语言结构。这项能力正是搜索引擎、辅助阅读、内容审核等产品的底层支撑。

从数学上看，模型要学的是给定图像\(\mathbf{x}\)生成句子\(\mathbf{y}\)的概率。由于句子是词的序列，我们可以把它分解成每一步的条件概率之积：

小林在工位上恍然大悟：配图文字的水平高低，就藏在这一个个“条件概率”里。谁能把“画面信息”和“已写文字”结合得越准确，谁写出来的句子就越贴切。

COCO数据集

小林问主编：“我的配图文字写得对不对，总得有个标准吧？”主编拿出一本厚厚的《标准配图集》说：“这是编辑部几十年积累的参考答案——每幅画都有5位资深编辑各自独立写下的一句描述，5句各不相同，但都准确。”这本“标准答案集”，就是COCO数据集。

COCO（Common Objects in Context）是微软团队构建的大规模图像理解数据集，收集了日常生活中真实、复杂场景的照片，涵盖80个物体类别。与实验室里“一张图一个物体”的简单数据集不同，COCO的图像里往往同时出现多人多物，上下文关系复杂，因此更有挑战性。它的构建规格很明确：每张图片由5位不同标注者分别独立撰写一句英文描述，句子之间允许措辞不同，但都必须准确反映画面内容。

5句描述的设计蕴含着朴素的智慧：一人可能会漏看细节、写错用词，5人独立描述则能覆盖更丰富的表达。于是描述总量与图片数量之间有这样一个关系：

小林把《标准配图集》捧在手里掂了掂——165万句人工描述，这就是模型学习“看图说话”的百科全书。没有这样一本厚课本，AI的文笔好坏就无从谈起。

评测指标

出版社的老编辑们开始为“如何打分”争吵。有人主张数词——你写的词和参考答案重合得多，就给高分；有人说那不行，“狗”和“拉布拉多”明明是一个意思，可字面不重合。最终编辑部定下了四把尺子，分别量不同的维度。

第一把尺子BLEU：计算候选描述与参考描述之间的n-gram重合率，并加入简短惩罚，防止模型只写“好”这种词蒙混过关。第二把尺子METEOR：基于一元词对齐并融合精确率与召回率，对同义词更宽容。第三把尺子ROUGE-L：用最长公共子序列衡量句子流畅度与语序。第四把尺子CIDEr：把每个n-gram加上TF-IDF权重——越是罕见的词越有价值，再计算候选与参考的余弦相似度。四把尺子中，CIDEr与人类主观判断的相关性最高，是COCO榜单最受关注的指标。

CIDEr的计算过程可以写成：

小林发现，CIDEr就像一位严苛又懂行的审稿人：他更看重你说出了画面中“不寻常却关键”的信息——一个“拉布拉多”比一个“动物”价值高得多。四把尺子各有所长，真正评估时往往四者并用。

经典模型

小林偷偷观察最喜欢的资深编辑老周的写作习惯：老周拿到画，先整体扫一眼记住构图，然后动笔写词。神奇的是，他写“猫”时眼睛会落到画面里的猫身上，写“沙发”时目光又移向沙发——目光始终追随着正在写的词。这个细节启发了整个AI领域，也启发了经典的编码器-解码器框架。

模型同样分两步走。第一步，编码器（Encoder）用CNN（如ResNet）把整张图“通读一遍”，提取出一组视觉特征向量\(\{\mathbf{v}_1, \mathbf{v}_2, ……, \mathbf{v}_k\}\)，相当于老周扫视全画形成的印象。第二步，解码器（Decoder）用LSTM或Transformer逐词生成句子，生成每个词时都借助注意力机制（Attention）从视觉特征中“抓取”自己需要的信息。

注意力机制的计算可以概括为：解码器先根据当前隐状态\(\mathbf{h}_{t-1}\)给每个视觉特征打分\(\alpha_{ti}\)，再把所有特征按权重加权求和，得到上下文向量\(\mathbf{c}_t\)。LSTM的更新可表示为：

正是这个“目光追踪”机制，让模型在写"kitten"时能重点参考画面中猫所在区域的特征，而不是机械地平均使用整幅图的信息。小林的笔停了下来——他发现自己下意识的目光移动，竟然成了人工智能的精妙设计。

训练优化

小林刚开始练习写配图文字时，常常写到一半就卡壳。主编老周坐在旁边，一旦他写错词，就立即告诉他正确答案：“这里应该用'sits'而不是'is'。”小林记下后用修正后的词继续往下写——他进步神速。这种训练方式在AI领域有个形象的名字：Teacher Forcing（教师强制）。

在训练阶段，模型解码第\(t\)个词时，不把它自己上一时刻生成的词作为输入，而是直接输入真实描述中的上一个词。这样能让模型在正确的语境中学习，避免错误在生成的句子中提前“传染”开来。但如果训练和推理行为不一致——推理时根本没有老师递正确答案——就会产生暴露偏差（Exposure Bias），这是后话。

训练目标是最小化交叉熵损失：给定真实描述\(\mathbf{y}^*\)，希望模型给真实词的概率尽量大。损失函数写成：

除了Teacher Forcing与交叉熵，工程师还会在推理阶段做评估调优：例如用束搜索（Beam Search）保留多条候选路径，或直接以CIDEr为奖励做强化学习微调，让模型的文风更贴近“评分尺”的口味。小林在笔记本上写道：训练时老师喂答案，推理时只能靠自己的才华——这中间的落差，正是优化要填补的鸿沟。

挑战趋势

小林练了一段时间后发现了规律：凡是画中有“猫”“沙发”这类常见元素，他写得又快又准；可一旦画里出现冷门的小物件，比如“老式转盘电话”“角落里的储物罐”，他就容易卡壳甚至糊弄过去。编辑部的老同事告诉他：这是全行业都头疼的挑战——数据偏差与长尾分布。

由于COCO中常见物体的样本数量远多于稀有物体，模型在训练时见过大量“猫和沙发”，却很少见到“转盘电话”。模型于是倾向于输出最常见、最稳妥的句子，导致描述趋同、缺乏多样性。为了解决这个问题，研究者一方面通过重采样、数据增强来缓解类别不均衡，另一方面在损失函数中引入多样性约束，鼓励模型对同一张图产出不同但都合理的句子。一个常见的策略是惩罚两个候选描述向量的相似度：

展望未来，以BLIP、Flamingo为代表的多模态大模型正在改变游戏规则：它们用海量图文对预训练，用更强的视觉-语言对齐能力，让图像描述从“背课文”升级为“融会贯通”。小林合上笔记本，窗外的绘本堆得像小山——他知道，AI写给画面的故事，才刚刚翻开第一页。

AI 应用场景

Python 演示

# -*- coding: utf-8 -*-"""简版 CIDEr 指标演示: 给一条候选描述按 COCO 风格打分CIDEr: 用 TF-IDF 加权 n-gram 余弦相似度, 衡量 AI 描述与人工描述的重合度"""import refrom collections import Counterfrom math import log, sqrt  def tokenize(text):    return re.findall(r"[a-z0-9']+", text.lower())  def get_ngrams(tokens, n):    return [tuple(tokens[i:i + n]) for i in range(len(tokens) - n + 1)]  def build_ngram_counter(tokens, n):    return Counter(get_ngrams(tokens, n))  def compute_simple_cider(candidate, references, n=4, eps=1e-6):    cand_cnt = []    for i in range(1, n + 1):        cand_cnt.append(build_ngram_counter(tokenize(candidate), i))    scores = []    for ref in references:        ref_cnts = []        for i in range(1, n + 1):            ref_cnts.append(build_ngram_counter(tokenize(ref), i))        sims = []        for i in range(n):            grams = set(cand_cnt[i]) | set(ref_cnts[i])            num, d1, d2 = 0.0, 0.0, 0.0            for gram in grams:                wc = cand_cnt[i].get(gram, 0.0)                wr = ref_cnts[i].get(gram, 0.0)                freq = cand_cnt[i].get(gram, 0) + ref_cnts[i].get(gram, 0)                idf = log(2.0 + freq) if freq else 1.0                num += wc * wr * idf                d1 += wc * wc * idf                d2 += wr * wr * idf            sims.append(num / (sqrt(d1) * sqrt(d2) + eps))        scores.append(sum(sims) / n)    return sum(scores) / len(scores)  if __name__ == "__main__":    image_id = "000000000139"    references = [        "a man riding a wave on top of a surfboard",        "a person riding a surf board in the water",        "a man surfing on a surfboard in the ocean",        "a surfer riding a huge wave",        "a man on a surfboard riding a wave"    ]    candidate = "a man surfriding on a wave with a surfboard"    score = compute_simple_cider(candidate, references)    print("图片ID:", image_id)    print("候选描述:", candidate)    print("人工参考数:", len(references))    print("简版CIDEr =", round(score, 4))

1. build_ngram_counter(tokens, n)把句子拆成n-gram并统计频次，像把书拆成短语卡片。
2. for ref in references:逐条遍历5句人工参考，COCO每一张图就是这样的数据结构。
3. grams = set(cand_cnt[i]) | set(ref_cnts[i])取候选与参考n-gram的并集，确保两边词汇都在评分范围内。
4. freq = ... + ...统计该短语在两端出现总次数，出现越少、信息量越大。
5. idf = log(2.0 + freq) if freq else 1.0简化的逆向文档频率权重，给“稀有短语”更高话语权。
6. sims.append(num / (sqrt(d1) * sqrt(d2) + eps))余弦相似度公式的实现，算两个向量方向的接近程度。
7. scores.append(sum(sims) / n)对1到4阶n-gram取平均，得到单条参考上的相似度。

常见误区

面试题