AI如何识别重复代码：克隆检测技术

可视化演示

展示系统处理流水线、实时性能指标曲线及多方案对比分析，包含数据流转、吞吐延迟监控与方案评估。

克隆识别概念

在小林看来，“重复”不是一种非黑即白的状态。稽查员上岗第一件事，就是和主编确认“什么才算重复”：是必须一个字不差，还是意思相同也算？反复讨论后，他们定下一条朴素而可操作的规则——只要两段文字相似到“改一处必须同步改另一处”的程度，就算一次克隆。有了这条规则，稽查才能开始。

在软件工程里，这种“必须同步维护”的重复片段被称为代码克隆，英文叫 Code Clone。它们大多来自复制粘贴、框架模板，或是开发者“照着上一段写法再来一遍”的习惯。统计表明，大型项目里通常有 5% 到 15% 的代码属于重复片段。这些重复会悄悄推高维护成本：修复一个 bug 时要在每处副本上重复修改，漏改一处就埋下隐患，这正是技术债的重要来源。

因此，团队需要克隆检测工具自动扫描整个代码库，先把“哪些地方重复、重复了多少”量化出来。最基础的量化指标是重复率，它把重复代码行数除以总代码行数，得到一个可以横向比较的百分比：

对小林来说，重复率就像手稿的定级表：如果一千页里有两百页是前面抄来的，这本书就得上“重大修改”清单。对软件开发而言，重复率越高的模块，越是重构时优先瞄准的目标。

四种克隆类型

小林把挑出来的重复段落分成了四类，方便逐一处理。第一类最省心：作者把段落原封不动地粘过来，只改了回车和注释；第二类稍稍动了手脚，把“王小明”换成“李小红”，可句子结构一模一样；第三类抄完还添删了几句话；最难缠的是第四类——字面上完全不同，可讲的故事、传递的信息完全一致。

代码克隆研究者也按“改动的程度”把克隆分成四种经典类型。Type 1 是完全复制，仅空白和注释不同；Type 2 是改名复制，变量名、函数名换了，但结构不变；Type 3 是在 Type 2 的基础上继续增删改语句，属于“越改越走样”的复制；Type 4 是语义克隆，实现方式完全不同，功能却等价。它们之间有一条清晰的递进关系：

理解类型最大的价值在于选工具：只想抓 Type 1，文本比对就够；想抓 Type 2，需要词法归一化；想抓 Type 3，往往要靠语法树；想抓 Type 4，就得上升到程序依赖图。小林把这些类型称为“抄袭的四个段位”——段位越高，抓起来越费劲，但也越不能放过，因为第四类恰恰是最隐蔽、最消耗维护精力的重复。

文本比对法

最简单的稽查手段，是像用 Ctrl+F 那样直接比对文字。小林先把两份手稿按行拆开，一行行地找完全相同的句子；找不到整句，就看连续的几行是否构成一个可比的窗口。这个方法笨拙，但它是所有高级方法的起点。

技术世界里，这就是文本克隆检测（Text-Based Detection）。它把代码当普通文本处理，用滑动窗口切出固定长度的代码行序列，再用哈希或字符串匹配比较行与行是否一致。判断两个片段像不像，常用 Dice 系数：把每个片段看作一个“行的集合”，交集就是完全相同的那些行，相似度是两个交集大小之和与集合大小的比值：

文本法实现简单、速度快、没有任何语法开销，但只会抓 Type 1。只要开发者把变量名换一换，哪怕结构完全一样，“行集合”也会立刻失真，Dice 系数骤然下降。这就像一位只会查字面的校对员：作者一换名字，他就认不出来了，所以文本法只能当第一道粗筛。

词法符号法

为了抓住“换了名字”的抄袭，小林升级了工具。他不再盯着原始字符，而是先把句子拆成一个个词，再把“人名、地名”全部替换成统一的“某某”。这样一来，王小明和李小红写出来的句子，在符号层面就变得一模一样。

这正是词法符号法（Token-Based Detection）的核心思路，代表作是著名的 CCFinder。它先把代码切成 token 流——也就是代码中最小的语法单位，比如变量名、数字、运算符；然后做归一化：把所有标识符统一替换成占位符，把所有数字替换成统一的数字符号；最后在归一化后的符号串里寻找尽量长的公共子序列，这一步骤通常借助后缀树这种精巧的数据结构高效完成。

CCFinder 的流程可以概括为三步：词法分析（切 token）、归一化（替换标识符）、后缀树匹配（找最长公共序列）。为了衡量重复程度，工程上常用最长公共子序列的长度除以两个片段中较短者的长度：

对小林而言，符号法相当于一位“会认人但更看重骨架”的校对员：你换名字无所谓，句子骨架一样就躲不过。它比文本法多抓住 Type 2 克隆，但对“抄完还改写几行”的 Type 3 已有些力不从心。

语法树法

随着作者“抄术”升级，小林发现光看词汇已经不够。他请来了懂语法的专家，把每句话都画成主谓宾结构图；只要两张结构图的主体框架相同，哪怕用词完全不同，也算重复。这就像语文老师批改作文时说的：“你这篇和那篇，骨架是同一个。”

代码世界里的“结构图”就是抽象语法树（Abstract Syntax Tree，AST）。编译器把源码解析成一棵表达语法结构的树：根是函数定义，往下依次是语句、表达式、变量。AST 方法把两个片段的树拿出来，寻找同构的子树（Common Subtree），子树越大、越相似，克隆嫌疑越高。典型工具如 Deckard 就基于这种思路。

AST 方法天然对标识符改名免疫——因为在语法树里，变量名只是叶子节点的标签，真正决定相似度的是树形结构。比较两棵树的相似度，常用节点规模来度量：

对小林而言，语法树法像是“看句子骨架”的资深编辑：只要句法框架雷同，换了再华丽的词也躲不过。它能覆盖 Type 2 和相当一部分 Type 3，但对“换一种写法讲同一个故事”的 Type 4 依旧没有头绪。

依赖图法

真正难抓的是第四类：作者完全换了写法，连句子结构都不一样，但传递的信息相同。小林最后请来了“理解情节”的审稿人，把段落里的因果关系画成一张网——谁依赖谁、什么条件触发什么结果——再去比对两张网的形状。就算一段用倒叙、一段用顺叙，只要因果链一致，就判定为重复。

软件工程里的这张网就是程序依赖图（Program Dependence Graph，PDG）。它把代码表示成节点和边：节点是语句或谓词，边有两种关键类型——数据依赖（变量在哪儿被定义、在哪儿被使用）和控制依赖（哪条分支控制着哪条语句的执行）。PDG 方法比较两个片段的依赖子图，如果找到足够大的同构子图，就判定为语义克隆。

因为 PDG 丢开了“怎么写”，只保留“做了什么”，Type 4 克隆在这里终于露出马脚。相似度可以定义为匹配上的节点数占两个图并集节点数的比例：

对小林来说，依赖图法是从“看作文”升级到“看大纲”：字句全换没关系，只要情节走向、因果关系一致，就认定是重复。它是对付 Type 4 的最强手段，但构建依赖图的成本较高，通常只在核心模块上使用。

工具与评估

稽查员上岗前，主编要先考核它的“业绩”：不能冤枉好人，也不能放过坏人。小林把已知的重复段落整理成标准答案，让工具去比对，统计它找对了多少、找错了多少——这套考核制度，就是克隆检测的评估体系。

对应的两大指标是精确率（Precision）和召回率（Recall）。精确率回答“工具报告出来的克隆里，有多少是真克隆”，召回率回答“真实存在的克隆里，工具抓住了多少”。两者常常此消彼长：阈值调高，精确率升高但召回率下降；阈值调低则相反。为了综合比较不同工具的优劣，人们把两者用调和平均压成一个分数，即 F1：

落地时，不同层级的方法各有代表工具：文本法有 NiCad 之类的轻量粗筛器，词法法有 CCFinder，语法树法有 Deckard，依赖图法有近年基于深度学习的语义检测模型。实践中的常见流程是先用轻量工具做全库扫描，再对重点模块用 AST 或 PDG 做二次确认。对小林来说，这套考核保证了查重报告的含金量；同样地，团队在重构前拿到克隆报告，就能按风险分级处理——重复不是原罪，把重复的代价变得可见、可控，才是克隆检测真正的价值。

AI 应用场景

Python 演示

# -*- coding: utf-8 -*-"""简化版克隆检测器, 模仿 CCFinder 的词法归一化思路""" import refrom difflib import SequenceMatcher SPLIT = re.compile(r'([A-Za-z_][A-Za-z0-9_]*|[0-9]+|\W)') def tokenize(code):    """把代码切成 token 序列, 标识符统一归一化为 ID"""    tokens = []    for t in SPLIT.findall(code):        if not t:            continue        if t.isidentifier():            tokens.append('ID')        elif t.isdigit():            tokens.append('NUM')        elif not t.isspace():            tokens.append(t)    return tokens def similarity(code_a, code_b):    """比较两段代码的 token 流相似度"""    seq_a, seq_b = tokenize(code_a), tokenize(code_b)    return SequenceMatcher(None, seq_a, seq_b).ratio() def find_clones(snippets, threshold=0.8):    """两两比较, 返回相似度达到阈值的克隆对"""    clones = []    for i in range(len(snippets)):        for j in range(i + 1, len(snippets)):            left, right = snippets[i], snippets[j]            ratio = similarity(left[1], right[1])            if ratio >= threshold:                clones.append((left[0], right[0], round(ratio, 2)))    return clones if __name__ == '__main__':    code_a = """def calc_total(items):    price = 0    for item in items:        price = price + item.price    return price"""    code_b = """def compute_sum(goods):    total = 0    for good in goods:        total = total + good.price    return total"""    code_c = """def hello():    return "hi""""    snippets = [('A', code_a), ('B', code_b), ('C', code_c)]    for left, right, ratio in find_clones(snippets):        print('clone pair: %s - %s similarity %.2f' % (left, right, ratio))    print('done')

1. SPLIT = re.compile(r'([A-Za-z_][A-Za-z0-9_]*|[0-9]+|\W)')一个正则表达式，把源码切成“标识符、数字、标点”三类 token。
2. tokens.append('ID')所有标识符归一化成同一个占位符，换了名字也能匹配，这是仿 CCFinder 的精髓。
3. tokens.append('NUM')数字也归一化，避免 price = 0 和 total = 0 因字面量不同而漏配。
4. seq_a, seq_b = tokenize(code_a), tokenize(code_b)两段代码先转成统一的 token 流，再做序列级比对。
5. return SequenceMatcher(None, seq_a, seq_b).ratio()用动态规划求最长公共子序列，输出 0 到 1 的相似度。
6. if ratio >= threshold:相似度超过阈值就记一组克隆，阈值越高，报告越严格。

常见误区

面试题