Activation Steering：激活引导控制模型

可视化演示

展示残差流上Steering向量注入原理、对比法向量提取过程与激活引导vs微调方法对比，理解不改权重控制LLM行为的核心机制。

激活向量基础

想象你骑在马上，闭着眼也能感受到马的每一次步伐：背脊起伏、后腿发力、鬃毛甩动。你不需要懂得马的肌肉解剖，只需要感知这些连贯的“姿态”。大语言模型也一样：当它读一个词、生成一个词时，Transformer 的每一层都会输出一个高维向量，叫作隐藏状态（hidden state），也就是激活向量。它是模型在那一刻对文本“理解程度的姿态”——包含了语法、语义、上下文乃至风格的所有信息。

这些姿态不是凭空产生的。在 Transformer 内部，每一层的输出都会被加回到主干上，形成所谓的残差流。这就好比马的每一步都叠加在之前的步态上：前腿的摆动会影响后腿的蹬地，信息一层层累积，越到深层，姿态承载的语义就越抽象。理解激活向量是掌握 Activation Steering 的第一步——因为缰绳要套的，正是这些姿态本身，而不是马腿（权重）。

用公式描述这一层关系：

所以，激活向量不是某个神秘开关，而是一匹“正在奔跑的马”在每一刻留下的完整姿态快照。后面要做的激活引导，就是在这个快照上加一个小小的力。

特征方向

马厩里有一群马，老练的驯马师一眼就能看出哪匹“沉稳”、哪匹“急躁”。这种判断不是靠某个单独的部位——马的耳朵、尾巴、步伐都贡献一点。在高维向量空间里，“诚实”“讨好”“简洁”这些抽象特征，也不是由某个单一的神经元负责，而是对应一个一维方向（一个向量）。这个方向叫特征方向。

这就是线性表征假说：一个特征的强度，等于激活向量在该方向上的投影长度。投影越大，特征越强。好比判断马是否沉稳，你把马的姿态投影到“沉稳轴”上，坐标越高越沉稳。激活空间里同时存在成千上万条这样的轴，它们互相交叠、纠缠，这就是稀疏特征编码——每个轴只被少数样本激活，但所有轴共享同一个高维空间。

用内积描述“投影”：

这一节告诉我们：想控制马的性格，关键在于找到那根“性格轴”。接下来，缰绳就有了明确目标。

引导原理

既然每个特征都有一个方向，那“引导”就变得非常直接：想让模型更诚实，就把激活向量沿“诚实方向”推一把。这就好比骑手明确了缰绳的位置——向左拉，马就左转。Activation Steering 的核心操作，就是在推理过程的某个层，对激活向量做一个加法：

注意一个关键点：整个操作发生在推理时，模型的权重一个都没改。马还是那匹马，只是这半步迈得更偏向“诚实”。这正是 Activation Steering 与微调最本质的区别——缰绳随时可以松开，行为随时可以恢复。

向量提取

缰绳应该朝哪个方向拉？这需要从模型内部“问”出来。方法是对比激活法：让模型分别生成“诚实的回答”和“奉承的回答”两组文本，记录它们在目标层的激活向量，然后求平均再相减。这就像你观察两群马的脚印：一群总走向诚实草原，一群总走向奉承泥潭，两条平均轨迹之差，就是“从奉承走向诚实”的方向。

提取出原始方向 $v$ 后，通常还要做归一化：

这就是找缰绳的标准流程：对比、相减、归一化。三行公式，却能从模型内部挖出可操控的行为方向。

干预实验

缰绳找到了，可是该把缰绳扣在马鞍的哪个位置？模型有少则几十、多则几百层，目标层选择直接影响效果。浅层激活与词法、局部搭配更相关，深层激活与语义、风格更相关，因此“诚实”这类全局特征通常更适合在中间层或靠近输出的深层注入。这只是经验法则，实际操作中必须做实验扫描。

另外还要决定注入位置：是每个 token 的激活都加方向，还是只在特定位置（比如最后一个 token、句子的关键名词）加？在完整生成任务里，更常见的做法是给整个序列的每一时间步都施加一个可变的强度：

一个标准的 intervention 实验，通常要固定三个变量中的两个，扫描第三个：固定层和 $\alpha$，扫描注入位置；固定注入位置和 $\alpha$，扫描层号。整个过程像驯马师反复试缰绳系在哪个位置、拉多大力，最终找到最舒服的配合点。

评估方法

缰绳拉完后，怎么判断马真的变温顺了？不能光看感觉，要回到赛道上看数据。评估 Activation Steering 效果，有三大常规手段。第一是行为指标对比：计算引导前后的行为指标变化率，比如毒性率下降多少、诚实率提升多少。第二是消融对照实验：把真正的引导方向换成一个随机方向，如果随机方向也能达到同样效果，说明你的方向没提对，这就像给马套一根假缰绳做安慰剂测试。第三是泛化检验：换一组提问方式、换一批测试主题，看引导效果是否仍然成立。

效果指标可以统一为相对变化率：

测马不能只在自家马场跑直线，还要换条山路、换个天气看看它还听不听话。消融对照和泛化检验，就是驯马师的“换路测试”。

局限风险

缰绳拉得太猛，马会甩头、急停、甚至把人掀翻。Activation Steering 同样如此：力度过大会导致文本断裂、逻辑混乱，模型可能输出前后矛盾的内容。更隐蔽的是层间信号耦合——在浅层加的力，经过后续多层放大或抵消后，最终效果可能完全不是预期方向。研究者经常需要同时干预多个层以稳定效果：

最需要警惕的是：Activation Steering 压制的是行为表现，不是模型能力。就像缰绳能让马暂时不走危险道路，但你没法靠拉缰绳让马忘记那条路的存在——在对抗性输入下，被压制的行为随时可能反弹。安全边界，永远是驯马师心中的红线。

AI 应用场景

Python 演示

import mathimport random def make_cluster(center, spread, count):    rows = []    for _ in range(count):        row = [c + random.gauss(0.0, spread) for c in center]        rows.append(row)    return rows def mean_vector(rows):    dim = len(rows[0])    return [sum(r[i] for r in rows) / len(rows) for i in range(dim)] def subtract(a, b):    return [a[i] - b[i] for i in range(len(a))] def norm(v):    return math.sqrt(sum(x * x for x in v)) def normalize(v):    length = norm(v)    return [x / length for x in v] def steer(activation, direction, alpha):    return [x + alpha * d for x, d in zip(activation, direction)] def classify(activation, centers):    dists = [sum((a - c) ** 2 for a, c in zip(activation, center)) for center in centers]    return dists.index(min(dists)) random.seed(42)honest_rows = make_cluster([1.2, 0.5], 0.35, 25)flattery_rows = make_cluster([-1.0, -0.6], 0.35, 25) mean_honest = mean_vector(honest_rows)mean_flattery = mean_vector(flattery_rows)raw_direction = subtract(mean_honest, mean_flattery)direction = normalize(raw_direction) print("raw direction:", raw_direction)print("normalized direction:", direction)default_label = "honest" if classify(mean_flattery, [mean_honest, mean_flattery]) == 0 else "flattery"print("default behavior:", default_label) for alpha in [-1.5, -0.5, 0.0, 0.5, 1.5]:    moved = steer(mean_flattery, direction, alpha)    label = "honest" if classify(moved, [mean_honest, mean_flattery]) == 0 else "flattery"    print("alpha=%+.1f -> %s" % (alpha, label))

1. rows = [c + random.gauss(0.0, spread) for c in center]在簇中心附近生成带噪声的模拟激活向量，模拟真实模型中的激活分布。
2. mean_honest = mean_vector(honest_rows)计算诚实样本组的平均激活，对应“诚实马群的平均脚印”。
3. raw_direction = subtract(mean_honest, mean_flattery)两组均值相减得到原始引导方向，把两组共有的背景信息消掉。
4. direction = normalize(raw_direction)归一化让方向长度为 1，力度留给 α 控制。
5. def steer(activation, direction, alpha)实现核心公式 h' = h + αv，沿引导方向推动激活。
6. classify(moved, [mean_honest, mean_flattery])用最近质心判断干预后激活更靠近哪个簇，模拟“行为偏向诚实还是奉承”。
7. for alpha in [-1.5, -0.5, 0.0, 0.5, 1.5]力度扫描实验：反向推会加深奉承，正向推到一定程度行为翻转为诚实。

常见误区

面试题