让AI读懂“法言法语”：LegalBERT与Lawformer领域预训练模型

可视化演示

LegalBERT与Lawformer面向法律文本进行领域预训练。演示法律语料预训练、Lawformer长文本建模（512 vs 4096 token）以及下游任务微调三个环节。

初识领域预训练

我叫老周，科技公司的法务AI负责人。为了让律师团队少加班，我招了个AI实习生“大通”——一个通用BERT模型。大通是“通识教育”的优等生，读得懂新闻、接得上梗，可一到合同审查就翻车：把“甲方可行使留置权”理解成“甲方拥有一个停车位”。我哭笑不得：它缺的不是智商，是法律常识。

大通的“通识教育”来自海量通用语料——新闻、百科、社交媒体。这类语料让它掌握了语法和世界常识，却撑不起法律文本的“专业方言”：法律文书术语密度高、句子超长、结构严谨且互相引用。通用模型面对这类文本时，预测“下一个词是什么”的难度显著上升，这就形成了所谓的“语义鸿沟”。

领域预训练就是填平鸿沟的办法：在通用模型基础上，用大量法律语料继续训练，让模型把法律文本的词汇、句式、表达习惯“内化”进参数。衡量这段修炼效果的核心指标叫困惑度（PPL）——它告诉我们模型对某类文本有多“吃力”。

$$\displaystyle PPL = \exp\left(-\frac{1}{N}\sum_{i=1}^{N}\log P_\theta(w_i \mid w_{<i})\right)$$

1. 预测概率：模型看到第 i 个词之前的所有单词后，对第 i 个词给出一个预测概率。预测得越准，这个值越接近 1。

$$P_\theta(w_i \mid w_{<i})$$

2. 取对数：对每个位置的预测概率求自然对数。概率为 1 时对数为 0，概率越小对数值越负，便于数学上累加。

$$\log P_\theta(w_i \mid w_{<i})$$

3. 取平均：把整个文档 N 个位置的对数概率加起来再除以 N，得到“平均对数概率”，消除文档长度的影响。

$$\frac{1}{N}\sum_{i=1}^{N}\log P_\theta(w_i \mid w_{<i})$$

4. 加负号：平均对数概率是负数，加负号变成正数，让“越小越好”这个方向变得直观。

$$-\frac{1}{N}\sum_{i=1}^{N}\log P_\theta(w_i \mid w_{<i})$$

5. 指数映射：用指数把结果映射回原始尺度，得到“平均候选词数量”。法律语料训练后，PPL 会明显下降。

$$\exp\left(-\frac{1}{N}\sum_{i=1}^{N}\log P_\theta(w_i \mid w_{<i})\right)$$

把大通送去法学院回炉，就是“领域预训练”。上课用判例、法条当教材，学会了“法言法语”再回来上班。下节课，我们看看它整个学期练的“填空题”到底怎样改变了它的脑回路——这就是LegalBERT。

LegalBERT：法律BERT精训

回到法学院的大通，被起了个新名字：LegalBERT。这一学期的“精训”课程安排得很科学——最重要的日常训练是“填空练习”（Masked Language Modeling，MLM）和“前后句配对判断”（Next Sentence Prediction，NSP）。老师把教材中的一部分词涂黑，让大通根据上下文猜原词。

LegalBERT 由研究团队在2020年提出：它以 BERT 架构为底座，在欧盟立法文本、英国成文法、欧洲人权法院判决书等数十万份法律文档上继续预训练。它的优势很明显——模型不需要从零开始学说话，只需要把通用语言能力“迁移”到法律场景。

训练时随机遮住15%的token，模型要根据两侧上下文猜回原词。法律文本术语重复度高、句式模板化，填空练习的反馈信号特别强。反复训练后，“履行”“违约金”“乙方”这些词在模型的语义空间里彼此靠近，法律语义日渐精准。小L终于明白：“合同”不是一纸约定，而是一整套权利义务的承诺网络。

$$\displaystyle \mathcal{L}_{MLM} = -\frac{1}{|M|}\sum_{i \in M}\log P_\theta(w_i \mid \tilde{x})$$

1. 遮罩集合 M：被随机涂黑的词位置集合。LegalBERT 每句随机遮住15%的token，迫使模型靠上下文猜词。

$$M \subseteq \{1, 2, \dots, n\}$$

2. 条件概率：模型根据被涂黑后的句子 $\tilde{x}$，还原第 i 个原始词的概率。猜得越准，数值越大。

$$P_\theta(w_i \mid \tilde{x})$$

3. 平均与负号：对所有被遮罩位置取平均并加负号，猜得越准损失越小。这是整个预训练阶段要最小化的“作业分数”。

$$-\frac{1}{|M|}\sum_{i \in M}\log P_\theta(w_i \mid \tilde{x})$$

当大通毕业回岗时，它接到一份房屋租赁合同，一眼就看出“逾期交付超过15日视为根本违约”中“根本违约”的分量。这就是MLM练习的力量——“法言法语”，终于入脑入心。

Lawformer：长文模型破局

小L很快暴露了新短板：它一次只能读512个token。英语里512个token大约相当于300多个英文单词，一份像样的合同动辄几千词。让小L读完整份合同，它只能看到前几页，如同让实习生只读第一页就下结论——这不靠谱。

法务部又来了一位新实习生——Lawformer。它在2021年登场，基于Longformer架构改造，把输入长度一口气拉到4096 token以上，专门解决“长卷宗阅读”难题。长文档处理最大的拦路虎是计算量：标准注意力机制下，文本长度翻倍，计算量翻四倍。

Lawformer 的破局之道有两条。第一，相对位置编码：不再死记每个词排在第几位，而是感知“这个词离我多远”，长距离信息也能优雅编码。第二，稀疏注意力：每个词只和滑动窗口内的邻居以及少数全局监测点交互，注意力计算量从 O(n²) 降为 O(n)。

$$\displaystyle Attn(Q,K,V) = \mathrm{softmax}\left(\frac{QK^{\top}}{\sqrt{d_k}} + M\right)V$$

1. 查询与键点积：计算“当前词”与“上下文每个词”的相关度，得到一张注意力分数表。

$$QK^{\top}$$

2. 除以根号维度：用键向量维度的平方根缩放分数，防止内积过大导致softmax梯度消失。

$$\frac{QK^{\top}}{\sqrt{d_k}}$$

3. 叠加掩码矩阵：窗口外的位置填上负无穷。经过softmax后，这些位置的权重归零，模型只关注窗口内与全局监测点。

$$M_{ij} = \begin{cases} 0 & \text{窗口内} \\ -\infty & \text{窗口外} \end{cases}$$

4. 概率化与加权求和：对每行分数取softmax得到注意力权重，再与值向量 V 加权求和，输出融合上下文的表示。

$$\mathrm{softmax}\left(\frac{QK^{\top}}{\sqrt{d_k}} + M\right)V$$

小F像一位能一目十行的速读高手，一份上万字的判决书从头翻到尾，句句在脑中留下线索。不过本领大，饭量也大——它更吃显存。下节我们来权衡：两位实习生到底该派谁上什么项目。

双雄对比与选型

现在工作室里有两位实习生：小L短小精悍、反应快；小F博闻强记、看得远但更重。业务团队找上门来，问该用小L还是小F。选型不是“谁强用谁”，而是按任务特性匹配。

三个关键维度需要对比。输入长度：LegalBERT约512 token，Lawformer约4096+ token；预训练重点：LegalBERT侧重短文本内的语义理解，Lawformer侧重长文档的全局关系建模；推理开销：LegalBERT轻量易部署，Lawformer需要更大显存。此外，两者的语料偏好也不同——LegalBERT更偏西方法律语料，Lawformer则面向中文法律长文档。

实践中的经验法则：法条分类、短句级合同要素抽取、法律问答等短文本任务，选LegalBERT——快而准；合同全文扫描、判例全文理解、类案检索等长文任务，选Lawformer——读得全。评估时不能只看准确率，要看 F1 分数——它同时惩罚“漏报”和“误报”，对法律场景特别重要。

$$\displaystyle F1 = \frac{2 \times P \times R}{P + R}$$

1. 精确率 P：模型预测为“风险条款”的结果中，真正是风险条款的比例。惩罚“报错了”。

$$P = \frac{TP}{TP + FP}$$

2. 召回率 R：所有真实风险条款中，被模型找回来的比例。惩罚“漏掉了”。

$$R = \frac{TP}{TP + FN}$$

3. 调和平均：把 P 和 R 都代入公式。任何一个指标偏低，F1都会被明显拉低，倒逼模型在“不漏”和“不错”之间找平衡。

$$\frac{2 \times P \times R}{P + R}$$

给小L派短文书，给小F派长卷宗，各得其所，效率翻倍。这就是“双雄”的最佳用法——不是竞争，而是互补。

法律任务应用

选型完成，两位实习生正式上岗，坐上法务部三大关键岗位：合同审查、法条分类、案例检索。

合同审查，本质是让模型给条款打标签——找出风险条款、抽取当事人、金额、期限等要素；法条分类，是让模型根据案情预测案由并推荐相关法条；案例检索，则是把判例编码成向量，用语义相似度召回“最像的案件”。

三个任务共用同一套原理：把输入文本喂给预训练模型，取出语义向量，再接一层softmax分类头或相似度计算。以合同审查为例，模型对每个条款输出“风险/正常”两类概率，概率超过阈值即报警。预训练阶段积累的法律语义，让分类边界更符合司法实践，而不是停留于表面的关键词匹配。

$$\displaystyle P(y=c \mid x) = \frac{e^{z_c}}{\sum_{j=1}^{C} e^{z_j}}$$

1. 原始分数 z：模型最后一层为每个类别（如“风险条款”“正常条款”）打出的logit值，分数越高代表越倾向该类。

$$z_c$$

2. 指数放大：对每个分数取指数，让大分数更大、小分数更小，拉开类别之间的差距。

$$e^{z_c}$$

3. 归一化分母：把所有类别的指数值加起来，使输出成为合法概率分布。

$$\sum_{j=1}^{C} e^{z_j}$$

4. 输出类别概率：对每个类别都计算一次，取概率最大者作为预测结果，阈值可调以控制“宁可多报”还是“宁缺毋滥”。

$$\frac{e^{z_c}}{\sum_{j=1}^{C} e^{z_j}}$$

上岗三个月，小L和小F的成绩单比通用模型漂亮一大截：合同风险条款识别的F1从0.72提升到0.90以上，案例检索的Top-5命中率也大幅领先。法学老师看了都说好——但此刻，运维同事敲响了门：“这两个模型，内存装不下。”

部署优化落地

两位实习生“胃口”不小：BERT-base有1.1亿参数，Lawformer则更重。律所只有一台普通服务器，老板发话：要么瘦身，要么走人。

部署优化有三板斧：知识蒸馏、模型量化、推理加速。前三者负责“减重”，后者负责“提速”。知识蒸馏是最优雅的一招：让大模型当“老师”，把判断经验浓缩成“软标签”传授给小模型。

蒸馏时，老师输出的概率分布要用温度T软化——温度越高，低概率类别的微弱信号越清晰，学生模型能偷学到“第2类虽然输给第1类但其实很相近”这类暗知识。配合INT8量化，模型体积可缩小到原来的四分之一，推理速度提升数倍。

$$\displaystyle p_i = \frac{\exp(z_i / T)}{\sum_{j=1}^{C} \exp(z_j / T)}$$

1. 温度参数 T：控制概率分布的“平滑程度”。T=1 时是普通softmax；T>1 时分布变平坦，暴露低概率类别的“暗知识”。

$$T > 1$$

2. 分数软化：把老师的原始分数除以温度，再取指数。温度让原本排名第二、第三的类别也有可见的概率。

$$\exp(z_i / T)$$

3. 归一化：对所有类别求和归一化，得到软标签分布。这个分布保留了类间的相对关系。

$$\frac{\exp(z_i / T)}{\sum_{j=1}^{C} \exp(z_j / T)}$$

4. 学生拟合：让学生模型的输出分布去拟合老师的软标签分布，常用KL散度度量差异，从而“继承”老师的判断经验。

$$D_{KL}(p_{teacher} \parallel p_{student})$$

瘦身后的LegalBERT-mini只有原来的四分之一大小，跑在普通CPU上也不喘气。律所和法学院都装上了，老周的项目终于顺利落地。至此，从“送去法学院进修”到“瘦身上岗”，两位法律AI实习生的完整成长路线图就铺开了。

AI 应用场景

Python 演示

import torchfrom transformers import AutoTokenizer, AutoModelForMaskedLM  def predict_masked(model_name, sentence):    tokenizer = AutoTokenizer.from_pretrained(model_name)    model = AutoModelForMaskedLM.from_pretrained(model_name)    inputs = tokenizer(sentence, return_tensors="pt")    with torch.no_grad():        logits = model(**inputs).logits    mask_pos = torch.where(inputs["input_ids"][0] == tokenizer.mask_token_id)[0]    probs = torch.softmax(logits[0, mask_pos], dim=-1)    topk = torch.topk(probs, k=5)    return [(tokenizer.decode([idx]).strip(), float(p))            for p, idx in zip(topk.values[0], topk.indices[0])]  if __name__ == "__main__":    law_text = "The tenant shall [MASK] the rent on the first day of each month."    print("通用BERT 预测:")    for word, prob in predict_masked("bert-base-uncased", law_text):        print(f"  {word}: {prob:.2%}")    print("LegalBERT 预测:")    for word, prob in predict_masked("nlpaueb/legal-bert-base-uncased", law_text):        print(f"  {word}: {prob:.2%}")

1. tokenizer = AutoTokenizer.from_pretrained(model_name)加载与模型配套的分词器，负责把句子切成 token 并编号。
2. inputs = tokenizer(sentence, return_tensors="pt")把文本转成 PyTorch 张量，得到 input_ids 和 attention_mask。
3. logits = model(**inputs).logits模型前向推理，返回每个位置对词表中每个词打的原始分数。
4. mask_pos = torch.where(inputs["input_ids"][0] == tokenizer.mask_token_id)[0]定位句子中被挖掉的那个 [MASK] 的位置。
5. probs = torch.softmax(logits[0, mask_pos], dim=-1)把分数变成所有候选词的概率分布。
6. tokenizer.decode([idx]).strip()把 token id 还原成英文单词，便于人眼判断模型学得怎么样。

常见误区

面试题