指代表达：一句话框出图里的目标

可视化演示

展示Seq2seq编码-解码架构如何将输入序列编码为上下文向量，再逐步解码生成多步预测结果，支持编码、解码、全流程三种视角切换。

任务定义：听懂“人话”里的目标

你站在商场中庭，对保安说：“穿红裙子、推婴儿车的那位女士。”保安没有让你发照片，也没有反问“她叫什么名字”，而是快速扫视人群，锁定了扶梯口的身影。这个瞬间说明：人类有天然的“指代表达”能力——把语言描述映射到视觉世界。而AI要学习的，正是这种能力：给定一句自然语言描述，在一张图中找到对应目标并框出来。

在技术领域，这个任务被称为Referring Expression（REF）。它的输入是“一张图像 + 一句描述”，输出是“一个边界框”。与目标检测最大的区别在于：目标检测只能认出预定义类别（人、车、猫），相当于保安只认识穿制服的同事；而指代表达能理解“穿红裙子的女士”“被咬了一口的苹果”这类开放式描述，相当于保安能听懂任何合理的找人指令。

从数学角度看，指代表达模型要学习一个条件概率分布：给定图像 $I$ 和文本 $T$，在所有可能的边界框集合 $\mathcal{B}$ 中，选出后验概率最大的框 $\hat{b}$。这里的“搜索”并非穷举，而是由深度网络学习一个打分函数，对候选框逐一评分后取最高分。

所以，你可以把指代表达模型想象成一位训练有素的保安：它不背顾客的长相（无预定义类别），而是当场倾听描述（理解自然语言），调动视觉搜索能力（计算条件概率），最后用激光笔框出目标（输出边界框）。这个“倾听—搜索—框选”的流程，就是整个任务的主线。

跨模态融合：语言与视觉的“翻译官”

保安在听到“红裙子”三个字时，心里其实发生了一次快速翻译：把“红色”转成视觉上的色调印象，把“裙子”转成衣服轮廓特征。同理，AI要在语言和视觉之间搭一座桥，让文字描述和图像区域能互相对上话。这座桥在技术里叫跨模态融合（Cross-Modal Fusion）。

具体怎么做？模型先用文本编码器（如BERT）把描述句子变成一组语义向量，再用视觉编码器（如CNN）把图像变成一组区域特征。但语言和视觉是两种“语言”，一个在词汇空间，一个在像素空间，直接比较没有意义。于是模型学习一个映射矩阵 $\mathbf{W}$，把两种特征投影到同一个“语义空间”里。空间越靠近，说明越匹配。

匹配打分是跨模态融合的核心动作。对于图像中的某个候选区域 $r$（视觉特征 $\mathbf{v}_r$）和整句描述 $e$（文本特征向量），模型计算它们的相似度分数：

有了这把“尺子”，模型就能给所有候选区域打分。跨模态融合不是简单拼接，而是让两种模态在特征层面相互影响、相互校准。翻译官当得好，后面的匹配才靠谱。

候选区域策略：“海选”与“终选”

保安找人不是盯着每一个人看，而是先快速环视全场，在脑子里划出几个可疑区域——“那边穿红衣服的、这边推婴儿车的、还有扶梯口那个”，这叫海选。然后他再逐一比对细节——“穿红裙子的只有扶梯口那位，就是她了”，这叫终选。两阶段指代表达方法（如MAttNet）正是复制了这个思路。

第一阶段是区域提议（Region Proposal）。模型用区域提议网络（RPN）或候选框生成器，在图像上产生几百个“可能是目标”的矩形候选框。这些框不需要很精确，只要覆盖目标就行，就像保安先锁定“二楼扶梯口”这个大概区域。第二阶段是匹配终选：对每个候选框提取视觉特征，与文本描述做跨模态打分（就是上一节的 $s(r,e)$），按分数从高到低排序，留下最匹配的一个，再做边界框回归精调。

在训练和评估中，如何判断“框得准不准”？答案是IoU（Intersection over Union，交并比）。它计算预测框与真实框的交集和并集之比，值越接近1说明框得越准。

海选求快，终选求精。两阶段方法在中小规模场景下依然有优势，因为它把“找”和“认”分开，每一步都容易调试。不过，它也面临候选框质量的上限——如果海选阶段就漏掉了目标，终选再厉害也无济于事。

Transformer应用：让模型“全场盯梢”

经验丰富的保安有个本事：余光扫视的间隙，始终把注意力放在描述里提到的特征上。你说“戴蓝帽子”，他的视线就自动在人群中搜索蓝色；你说“推婴儿车”，他又会优先关注有金属推杆的位置。这种“注意力随语言流动”的能力，正是Transformer给指代表达带来的核心升级。

Transformer中的自注意力（Self-Attention）让图像中不同区域互相“打招呼”——比如“自行车”这个区域会与“左边”、“栅栏”等区域建立关系，帮助理解空间上下文。而交叉注意力（Cross-Attention）更进一步：让文本中的每个词去“查询”图像中的每个区域，计算两者的相关权重。这就像“蓝帽子”这个词，主动去图像各处找“蓝”和“帽子”的对应像素。

交叉注意力的计算可以写成标准的注意力公式。给定查询矩阵 $\mathbf{Q}$（来自文本词）、键矩阵 $\mathbf{K}$ 和值矩阵 $\mathbf{V}$（来自视觉区域），输出是加权求和：

MDETR等现代模型把以上机制堆叠在编码器-解码器框架中，输入图像和文本，端到端直接输出目标框，完全不需要独立的区域提议网络。这相当于保安从“先扫一圈再盯人”升级为“全程盯梢”——注意力天然知道该看哪里，反应更快、上限更高。

数据集评估：AI的“考试卷”与“打分尺”

每个保安上岗前都要通过情景模拟考试——考官给出描述，保安指出目标，根据圈得准不准打分。AI的“考官”是一套公开数据集，最著名的就是RefCOCO系列。RefCOCO、RefCOCO+、RefCOCOg分别由不同团队构建，图像来自COCO数据集，每张图包含多个人工标注的指代描述。其中RefCOCO+要求描述中不出现绝对位置词，难度更高；RefCOCOg的句子更长、更口语化，接近真实对话。

评分标准有两把尺子。第一把是IoU（上节讲过的交并比），衡量单个样本的框准不准；第二把是Acc@0.5，统计所有测试样本中IoU达标（≥0.5）的比例。Acc@0.5越高，说明模型的整体定位能力越强：

不过，考试分数高不代表实战一定强。RefCOCO的描述相对干净、目标清晰，真实场景里可能出现“那个啥，推车子的阿姨”这种玩笑式描述，甚至目标被遮挡、光线昏暗。所以数据集评估只是第一关，真正的考验在工程落地阶段。

工程落地：从训练场走向值班室

培训完的保安要正式上岗，还得解决三个问题：反应要快（推理时延）、耐力要久（长期运行）、适应要强（新场景不懵）。指代表达模型从实验室走向生产环境，同样要过这三关。首先是模型轻量化：把大模型蒸馏成小模型（知识蒸馏），或者把权重从FP32压到INT8（量化），让模型体积和计算量大幅下降。

其次是推理加速。即使模型变小，在GPU上跑Transformer也未必能实时。工程上常用TensorRT进行算子融合、内存复用和kernel优化，把推理时延从数百毫秒压到几十毫秒甚至更低。最后是场景适配：监控画面的视角、分辨率、光照和数据集差异很大，需要在目标场景采集数据做微调（domain adaptation），否则模型会“水土不服”。

在优化过程中，知识蒸馏是常用手段。学生模型（小模型）不仅学习真实标签，还要模仿教师模型（大模型）的“答题思路”。蒸馏损失如下：

落地之后，指代表达就能在真实世界里干活了——在监控室帮警察找人，在标注平台帮标注员预画框，在修图软件里让设计师说一句“选中那只戴帽子的猫”就直接生成选区。保安正式上岗，故事才刚刚开始。

AI 应用场景

Python 演示

"""指代表达迷你演示：用关键词规则在玩具图像中定位目标"""import math  class ToyCanvas:    """玩具画布：放几个带颜色和形状的物体"""     def __init__(self, width=200, height=120):        self.width = width        self.height = height        self.objects = []     def add_object(self, obj_id, color, shape, x, y, w, h):        self.objects.append({            "id": obj_id, "color": color, "shape": shape,            "x": x, "y": y, "w": w, "h": h        })     def center_x(self, obj):        return obj["x"] + obj["w"] / 2.0  class ReferringEngine:    """指代表达引擎（演示版）"""     COLOR_MAP = {"红": "red", "蓝": "blue", "绿": "green", "黄": "yellow"}    SHAPE_MAP = {"圆": "circle", "方": "square", "三角": "triangle"}     def __init__(self, canvas):        self.canvas = canvas        self.match_count = 0     def parse_words(self, text):        """抽取描述中的颜色、形状、方位约束"""        tags = []        for ch, color in self.COLOR_MAP.items():            if ch in text:                tags.append(("color", color))        for ch, shape in self.SHAPE_MAP.items():            if ch in text:                tags.append(("shape", shape))        if "左" in text:            tags.append(("pos", "left"))        if "右" in text:            tags.append(("pos", "right"))        return tags     def filter_by_tag(self, candidates, tag):        """按照单个约束过滤候选物"""        kind, value = tag        if kind == "color":            return [o for o in candidates if o["color"] == value]        if kind == "shape":            return [o for o in candidates if o["shape"] == value]        if kind == "pos":            mid = self.canvas.width / 2.0            if value == "left":                return [o for o in candidates if self.canvas.center_x(o) < mid]            return [o for o in candidates if self.canvas.center_x(o) >= mid]        return candidates     def locate(self, text):        """解析描述，逐条过滤，返回目标框或 None"""        candidates = self.canvas.objects[:]        tags = self.parse_words(text)        for tag in tags:            self.match_count += 1            candidates = self.filter_by_tag(candidates, tag)            if not candidates:                return None        target = candidates[0]        return (target["x"], target["y"], target["w"], target["h"])  def build_demo_scene():    """构造一个包含 5 个物体的玩具场景"""    scene = ToyCanvas(200, 120)    scene.add_object(1, "red", "circle", 30, 20, 25, 25)    scene.add_object(2, "blue", "square", 90, 15, 30, 30)    scene.add_object(3, "green", "triangle", 145, 50, 28, 28)    scene.add_object(4, "red", "square", 60, 70, 24, 24)    scene.add_object(5, "blue", "circle", 140, 80, 22, 22)    return scene  def run():    scene = build_demo_scene()    engine = ReferringEngine(scene)    tests = [        ("红色的圆", (30, 20, 25, 25)),        ("蓝色的方", (90, 15, 30, 30)),        ("红色的方", (60, 70, 24, 24)),        ("蓝色的圆", (140, 80, 22, 22)),    ]    for text, expect in tests:        box = engine.locate(text)        ok = box is not None and box == expect        print("描述: %-8s -> 预测框: %-14s 期望: %-14s 结果: %s" % (text, box, expect, "正确" if ok else "错误"))  if __name__ == "__main__":    run()

1. class ReferringEngine定义“指代表达引擎”，相当于商场里那位保安的核心逻辑：接收文本、匹配视觉、输出目标。
2. tags = self.parse_words(text)把“红色的圆”拆成 ("color","red") 和 ("shape","circle") 两条约束，等同于保安拆解“穿红裙子”这个指令。
3. candidates = self.canvas.objects[:]初始候选集取所有物体，对应保安先环视全场、把所有顾客都当作潜在目标。
4. candidates = self.filter_by_tag(candidates, tag)每轮过滤都会淘汰一批不符合约束的候选物。比如筛掉非红色物体后，蓝色方框和绿色三角就被排除了。
5. target = candidates[0]过滤链结束后取第一个候选作为最终目标，这就是“匹配分数最高”的简化版。

常见误区

面试题