表征工程：像厨师调香料一样掌控 AI 的“内心世界”

可视化演示

动态演示表征工程工程化操控模型内部表的核心机制，通过概览/流程/对比/趋势四种模式展示关键概念与交互流程。

表征空间基础

假设你端着一盘刚出锅的咖喱走进一间巨大的“气味图书馆”。图书馆里每个位置都放着一种气味，书架的摆放规则非常奇特：闻起来相似的气味，被放在相邻的架子上——柠檬和青柠紧挨着，肉桂和豆蔻相隔不远。AI 模型的“大脑”里就有这样一座图书馆，它叫表征空间（Representation Space），只不过书架不是三维的，而是有成千上万个维度。

在表征空间里，每个词、每句话、每张图片，都会被映射成一个“气味坐标”，也就是一个高维向量。向量就是一个有方向的数字列表，比如 [0.3, -1.2, 0.8, ...]。技术上讲，这个映射过程发生在 transformer 的各层神经网络中：输入经过层层计算，最后每个 token 都在空间的某个位置点亮。语义越接近的东西，坐标越靠近，这就是著名的“语义相似性”。

这座“气味图书馆”是整个表征工程的总地图。厨师要知道香料放在哪一排，才能精准取用；同理，想要操控模型，第一步永远是搞清表征空间的布局。

概念方向探秘

有了气味图书馆，下一个问题来了：“诚实”这个抽象概念，在空间里有没有固定位置？答案出人意料：一个概念不是一个点，而是一个方向。

想象图书馆里有一条长长的走廊，走廊的一端写着“完全诚实”，另一端写着“完全欺骗”。任何一句话——不管是“我昨天去了公园”还是“我没去过那里”——它的表征向量都可以投影到这条走廊上。投影点越靠近“诚实”端，说明这句话在模型内心越“诚实味十足”。这条走廊，就是“诚实方向”。

形式化地说，我们假设每个概念方向是一个单位向量 $v$。给定任意表征向量 $h$，它在 $v$ 上的投影强度就是它对概念的“响应值”。如果 $h$ 是激活向量（模型某一层对输入产生的内部状态），那么这个投影值就告诉你：这句话在模型内心有多诚实（或多有害）。

这个“方向即概念”的思想是表征工程的基石。一旦你找到了方向，你就拥有了一个“概念旋钮”——向左拧是降低诚实度，向右拧是提高诚实度。剩下的问题只有一个：这个方向怎么找？

向量探测方法

现在我们要当一回“气味侦探”：怎么在图书馆几百个书架、上千个坐标里，找出那条“诚实走廊”？最经典的方法是对比激活法（contrastive activation），它像极了厨师同时闻两锅汤来辨别哪一种调料起了决定性作用。

具体做法是：准备一堆“诚实”的句子（比如“我会如实告诉你我的想法”）和一堆“不诚实”的句子（比如“我会撒谎让你高兴”），分别喂给模型，记录某一层产生的激活向量。然后，对两组向量分别求平均，再做差——这个差值向量，就指向“诚实”与“不诚实”之间差异最大的方向，也就是我们苦苦寻找的“诚实方向”。

探测方法还包含一个变体：LRC（逻辑回归分类器）。它不直接做减法，而是训练一个线性分类器来区分正负样本，取分类器的权重向量作为方向——效果往往比简单相减更稳健。但核心思想一脉相承：在两个概念阵营之间，找一条分界线，那条线的法向量就是概念方向。

向量操控技法

找到“诚实走廊”之后，才进入本文的重头戏：怎么工程化地操控它。答案朴素得令人惊叹——加法和减法。

假如模型在某一层对某句话产生的激活向量是 $h$，我们想让模型变得更诚实，只需要：

这里的 $\alpha$ 是干预强度系数，你可以把它理解成“香料添加量”。$\alpha>0$ 表示向“诚实”方向推动；$\alpha<0$ 则表示反向推动。整个过程发生在模型前向传播的某一层中：先在激活向量上加一个方向向量，再让后续网络继续计算。模型的其他一切都不变——这个操作有点像在汤出锅前10秒滴入一滴“诚实精”，汤的整体配方没动，只是味道变了。

这套“平移”操作在数学上极其简单，但效果却出奇地好。研究者发现，仅仅在推理时（inference time）对激活做一次加减法，就能显著改变模型在有害性、诚实度、情感倾向等方面的输出行为——不需要任何梯度计算，也不需要重新训练模型。这就是表征工程“轻量”二字的底气。

读写抑制三术

表征工程的操控手段，不止是“加一个向量”这一招。从工程实现角度看，研究者开发出了一套“读-写-抑制”三板斧，像极了一个高级厨师的三件武器：试味勺、调味针、以及一块遮味布。

第一招：读（Reading）。在模型推理时，从某一层“偷看”激活向量，用探测方向计算投影分数，实时判断模型当前“内心”偏向哪个概念。这就像用试味勺蘸一点汤，放在鼻子前判断现在的咸淡。

第二招：写（Writing）。直接把一个方向向量加到激活上，上面讲的 $h + \alpha v$ 就是“写”操作。这相当于用调味针往汤里精确注射一剂浓缩香料。

第三招：抑制（Suppressing）。不改变方向，只把激活在概念方向上的投影分量“抠掉”一部分。用公式说，就是从 $h$ 中减去它投影到 $v$ 上的一部分：

其中 $\beta$ 是抑制比例。若 $\beta = 1$，则完全抹去该概念的所有影响；若 $\beta = 0.5$，则减弱一半。这就像用一块遮味布盖住汤里某一种香料的挥发——汤还在，但那种味道“闻不到了”。

读、写、抑制三者配合，构成了表征工程的方法论核心。读让你知道模型在想什么，写让你改变模型想什么，抑制让你抹去模型想什么。三把武器在手，模型的“内心世界”第一次变得透明且可控。

工程评估闭环

在厨房里，你往汤里加了料，总得让客人尝尝、评价一下，才知道这勺香料加得对不对。表征工程同样如此——每次干预之后，必须进行评估。评估环节构成了一个“探测 → 干预 → 评估 → 调整”的闭环。

第一个评估维度是干预前后行为对比。我们用同一组问题分别问干预前和干预后的模型，观察回答的变化。比如，对“有害性方向”施加抑制后，再问模型“如何制造危险品”，看它是否拒绝回答；或者对“诚实方向”施加增强后，问它一些容易胡说八道的问题，看准确率是否提升。

第二个维度是概念分数检测。我们可以用之前学过的投影打分法，直接测量干预前后的激活向量在概念方向上的投影值变化。如果抑制操作生效，投影值应该显著下降——这就从“内部表征”层面证实了干预有效。

第三个维度是副作用监测。这是最容易被忽略但极其重要的一环。往汤里加太多“诚实精”，可能导致汤“变苦”——也就是模型的通用能力下降、说话变得生硬、或者在其他任务上出错。因此，评估时一定要用不相关任务做对比测试，确保干预只影响了目标概念，没有伤及无辜。

闭环评估是表征工程的“质检关”。只有当“行为改善”、“概念分数下降”、“无副作用”三条同时满足时，一次干预才算真正成功。这保证了表征工程不只是实验室里的花拳绣腿，而是能经得起实战考验的工程手段。

与对齐术对比

你可能要问了：市面上不是已经有 RLHF（基于人类反馈的强化学习）这类对齐技术了吗？表征工程和它比，有什么独特价值？

做个类比：RLHF 像是为了调整一锅汤的味道，把整锅汤倒回去重新熬制——换一批食材、调一遍火候、再请几十位“品鉴师”反复试喝打分，耗时几周甚至几个月。而表征工程是直接用“分子分析仪”找到问题香料，滴一滴中和剂，10 秒钟完成——锅还是那锅汤，但味道已经对了。

从技术层面拆解，两者的差异体现在三个维度。第一是成本：RLHF 需要重训或微调模型参数，涉及大规模梯度计算和人工标注；表征干预只在前向传播时做激活加减，零训练成本。第二是可控性：RLHF 的效果是“全局模糊”的，你很难说清楚模型具体在哪个层面发生了改变；表征干预则精确到某一层、某一个方向，可解释性极强。第三是灵活性：RLHF 重新训练后模型是“固化”的，想要换一种性格，又得重新训练；表征工程可以在推理时随时切换方向向量和强度系数——上午让模型严谨，下午让它幽默，只需换一个 $v$ 和 $\alpha$。

但要注意，表征工程不是要“取代”RLHF，而是互补。RLHF 负责在宏观层面确定模型的整体价值观，表征工程负责在微观层面做精细调控。就像大厨先用文火慢炖确定汤底基调，再在出锅前用分子调料做画龙点睛——两者配合，才能做出一锅完美的汤。

应用与安全边界

表征工程的应用场景，已经从实验室走向真实世界。第一个典型应用是可控文本生成：在推理时增强“积极情感方向”，可以让客服机器人的语气变得更温暖；增强“简洁方向”，可以让文档摘要模型输出更精炼。第二个应用是有害倾向抑制：在模型部署前，对“有害性方向”施加一次永久性的抑制，能显著降低模型生成恶意内容的概率——这个方法比 RLHF 快得多，适合快速响应的安全治理场景。

但正因为表征工程“太有效”了，它也带来严峻的安全与伦理挑战。想象一下：既然能通过加上一个向量让模型变诚实，那也完全可以通过减去同一个向量让模型变“不诚实”；既然能抑制“有害方向”，也能反向增强它，造出一个专门输出恶意内容的模型。这种技术在本质上是双刃剑——它既可以做安全防护，也可以被用于攻击。

因此，表征工程的研究者必须同时扮演“厨师”和“食安监管员”两个角色。我们需要建立一套透明化治理机制：对概念方向库做访问控制，对干预操作做审计日志，对模型行为做持续监控。在伦理层面，任何对模型表征的干预都应该遵循“最小必要”原则——只改该改的，不碰不该碰的。就像在厨房里，分子调料再神奇，也不能替代厨师对食材的敬畏。

AI 应用场景

Python 演示

import numpy as np  def probe_direction(pos_acts, neg_acts):    """对比激活法：从正负样本激活中探测概念方向"""    pos_mean = np.mean(pos_acts, axis=0)    neg_mean = np.mean(neg_acts, axis=0)    direction = pos_mean - neg_mean    norm = np.linalg.norm(direction)    if norm < 1e-12:        raise ValueError("方向向量几乎为零，请检查输入数据")    return direction / norm  def project_score(activation, direction):    """投影打分：计算激活在概念方向上的投影长度"""    return float(np.dot(activation, direction))  def intervene(activation, direction, alpha):    """写操作：沿概念方向平移激活向量"""    return activation + alpha * direction  def suppress(activation, direction, beta):    """抑制操作：扣除激活在方向上的分量"""    projection = np.dot(activation, direction) * direction    return activation - beta * projection  def main():    rng = np.random.default_rng(42)    np.random.seed(0)    dim = 64     # 模拟正样本（诚实）与负样本（不诚实）的激活    true_dir = np.zeros(dim)    true_dir[0] = 1.0    pos_acts = np.random.randn(50, dim) + 0.6 * true_dir    neg_acts = np.random.randn(50, dim) - 0.6 * true_dir     v = probe_direction(pos_acts, neg_acts)    print(f"探测方向与真实方向的余弦相似度: {np.dot(v, true_dir):.4f}")     sample = np.random.randn(dim)    before = project_score(sample, v)    after_write = project_score(intervene(sample, v, 0.8), v)    after_suppress = project_score(suppress(sample, v, 0.6), v)     print(f"干预前概念分数: {before:.4f}")    print(f"写操作后分数:   {after_write:.4f}")    print(f"抑制操作后分数: {after_suppress:.4f}")  if __name__ == "__main__":    main()

1. np.mean(pos_acts, axis=0)计算所有“诚实”样本的平均激活位置。
2. direction / norm将差值向量归一化为单位向量，保证后续操作只改变方向、不改变尺度。
3. np.dot(activation, direction)点积打分，衡量激活中该概念的“浓度”。
4. activation + alpha * direction写操作：向概念方向平移，相当于往汤里加香料。
5. projection = np.dot(activation, direction) * direction先算投影长度再还原向量，提取“概念分量”。
6. activation - beta * projection抑制操作：扣除部分概念分量，削弱该信号。
7. np.linalg.norm(direction)计算向量长度，用于归一化，防止出现零向量。

常见误区

面试题