司法AI(判决预测/量刑辅助)：中国裁判文书网数据采集合…

可视化演示

司法公开与文书网

走进这座"司法图书总馆"，你会发现它的藏书量远超想象——超过1.3亿份裁判文书，覆盖全国四级法院的生效判决。它由最高人民法院主办，2013年正式上线，目的是让司法权力在阳光下运行。对于研究司法AI的人来说，这里就是一座取之不尽的"语料金矿"：每一份文书都是真实案件的完整记录，包含案由、事实认定、法律适用和判决结果，训练判决预测模型、量刑辅助模型都离不开它。

但要注意：图书馆并非所有书都摆在开架上。按照《最高人民法院关于人民法院在互联网公布裁判文书的规定》，涉及国家秘密、个人隐私、未成年人违法犯罪以及以调解方式结案的案件，依法不公开。这意味着你采集到的文书永远是全部案件的子集，研究时如果忽视这种"选择偏差"，模型很可能在真实场景中翻车。

理解公开率这个概念很重要：

公开率 = 已公开文书数 ÷ 生效裁判总数，它衡量司法公开的广度，也决定了研究者语料覆盖的上限。

数据采集合规要求

图书馆的门口挂着一张《入馆须知》，写着"禁止喧哗""禁止撕书""禁止将整排书架推倒"。裁判文书网也有自己的"入馆须知"——网站根目录下的 robots.txt 文件。这份文件像一份"君子协定"，用 Disallow 字段声明哪些路径不允许爬虫访问。虽然违反robots协议不必然构成违法，但司法实践中，无视它的爬虫往往会被认定为"恶意访问"。

除了看"入馆须知"，文明借阅者还要控制自己的"翻书节奏"。假设你每分钟向服务器发送几百个请求，就像有人用一分钟把整排书架的书全抽出来翻一遍——服务器必然不堪重负。合规的做法是设置合理的请求间隔，一般建议1至5秒，并设置 User-Agent 和 From 字段表明自己的爬虫身份，让网站管理员联系得到你。

请求间隔的计算：

请求间隔 = 时间窗口长度 ÷ 窗口内允许的请求数 × 缓冲系数。

个人信息保护

有些图书馆的旧书里，会夹着前一位读者的手写批注，甚至夹着一张写有手机号的书签。这些"私人痕迹"虽然随着书本被公开了，但你想不想被人抄走？裁判文书的情况与此高度相似：文书虽然是公开的，但其中出现的当事人姓名、身份证号、住址、手机号，在法律上依然属于个人信息，受《个人信息保护法》保护。

《个人信息保护法》对个人信息的定义是"与已识别或可识别的自然人有关的各种信息"。也就是说，只要一份信息能直接或间接拼出一个具体的人，它就属于个人信息。其中身份证号、精确住址、金融账户信息还属于"敏感个人信息"，法律保护力度更强。即使是公开文书中的信息，采集者也不能随意转卖、滥用于催收、精准营销等与司法无关的用途。

一个简单的判定模型：

这个分段函数表示：任何一条信息，只要它单独或结合其他信息能定位到具体的人，就应当按个人信息对待。

文书脱敏规范

电视采访路人时要给脸打马赛克，采集裁判文书后也要给个人信息"打码"。脱敏（Data Masking）就是对数据进行变形处理，让个人身份无法被直接或间接识别。脱敏不是简单地把名字换成"张三"就完事，而是一套系统性的字段级处理流程。

脱敏的核心原则是"可用不可识"：保留案由、法条、裁判理由等司法研究要素，隐藏当事人身份要素。具体操作上：姓名保留姓氏，名字用星号替代（"张三"→"张*"）；身份证号保留前6位地区码和后4位，中间用星号补足（"110102********1234"）；住址只保留到县区级；手机号保留前3后4。涉及未成年人的信息一律删除，涉及企业商业秘密的内容同样在脱敏范围内。

脱敏覆盖率是衡量处理彻底程度的关键指标：

脱敏覆盖率 = 已脱敏字段数 ÷ 应脱敏字段总数 × 100%，覆盖率必须达到100%才算合格。

学术研究边界

图书馆允许你抄录文献写读书报告，但不允许你把整本书复印出来在门口摆摊卖钱。学术研究在数据使用上享有一定的"宽容度"，但这个宽容度有清晰的三条底线：目的正当、来源合法、处理合规。

很多研究课题组把从裁判文书网采集的数据直接扔进公有云网盘共享，或者干脆在GitHub上开源一份未经脱敏的语料——这是非常危险的。即使你的研究动机纯粹，只要数据集中含有可识别的个人信息，就已经踩了《个人信息保护法》的红线。数据最小化原则要求你只采集"与研究目的直接相关"的最小字段集。比如你要研究盗窃罪的量刑规律，那么当事人的详细住址和手机号码就不在你的需求范围内。

用集合的语言来表达：

实际采集的数据 = 原始数据源中与需求集合相交的部分，即只取二者重叠的最小集合。

合规风险案例

有人想把整座图书馆的书都搬回家开书店，保安当然会把他请出去——情节严重的，还有警察等着他。司法数据领域的合规风险不是纸面文章，而是有真实判例的。作为司法AI从业者，了解这些前车之鉴是职业自保的基本功。

第一类是过度爬取：绕过验证码、使用代理IP池高并发打崩网站。曾有公司抓取裁判文书近亿条，最后被以非法获取计算机信息系统数据罪追究刑责。第二类是隐私泄露：采集后不脱敏，将含身份证号、手机号的文书数据在行业群里流传甚至出售。按《刑法》侵犯公民个人信息罪，出售行踪轨迹信息五十条以上即可入罪。第三类是商业滥用：把司法数据用于法律禁止的场景，比如给催收公司提供"债务人画像"，既违反《个人信息保护法》，也违反《数据安全法》。

风险可以量化评估：

风险等级 = 影响严重程度 × 发生概率，这是所有合规管理体系中最基本的风险矩阵公式。

最佳实践框架

一个文明读者去图书馆，会先看入馆须知、再办借阅证、借书时轻拿轻放、归还时把椅子归位。合规采集裁判文书数据，也是同一套逻辑。把前面提到的要素整合起来，就形成一套覆盖全流程的最佳实践框架。

框架包含四个维度：制度层（F）要求数据合规责任落实到人，制定数据使用规范并培训全员；脱敏层（M）要求在数据入库前强制运行脱敏管线，用自动化工具识别并替换敏感字段；用途层（U）要求对数据分级分类，只允许经过审批的人访问，操作全程留痕；监控层（H）要求定期审计数据流向，检测未授权导出和异常访问。

用一个加权公式来综合评估团队的数据合规水平：

合规度 = 四个维度得分与其权重的加权平均值，结果越接近100分，说明合规体系越完善。

AI 应用场景

Python 演示

import reimport timefrom dataclasses import dataclass  @dataclassclass Judgment:    case_id: str    court: str    judge: str    plaintiff: str    defendant: str    id_number: str    address: str    content: str  class Masker:    ""“裁判文书脱敏器”""     def init(self):        self.cache = {}     def mask_name(self, name: str) -> str:        if len(name) <= 1:            return "*"        return name[0] + ""  (len(name) - 1)     def mask_id(self, id_number: str) -> str:        if len(id_number) <= 8:            return ""  len(id_number)        return id_number[:4] + ""  (len(id_number) - 8) + id_number[-4:]     def mask_address(self, address: str) -> str:        return re.sub(r“[\u4e00-\u9fa5]{2,}(号|栋|幢|单元|室)”, "***", address)     def mask_content(self, content: str) -> str:        content = re.sub(r"(\d{17}[\dXx])", lambda m: self.mask_id(m.group(1)), content)        content = re.sub(r"1[3-9]\d{9}", "138****0000", content)        return content     def mask_judgment(self, doc: Judgment) -> Judgment:        return Judgment(            case_id=doc.case_id,            court=doc.court,            judge=self.mask_name(doc.judge),            plaintiff=self.mask_name(doc.plaintiff),            defendant=self.mask_name(doc.defendant),            id_number=self.mask_id(doc.id_number),            address=self.mask_address(doc.address),            content=self.mask_content(doc.content),        )  class RateLimiter:    ""“访问频率控制器”""     def init(self, min_interval: float = 1.0):        self.min_interval = min_interval        self.last_request = 0.0     def wait(self):        elapsed = time.time() - self.last_request        if elapsed < self.min_interval:            time.sleep(self.min_interval - elapsed)        self.last_request = time.time()  def main():    doc = Judgment(        case_id=“(2023)京01民终12345号”,        court=“北京市第一中级人民法院”,        judge=“张三丰”,        plaintiff=“李小明”,        defendant=“王大全”,        id_number="110101199001011234",        address=“北京市海淀区中关村大街1号”,        content=“被告王大全欠原告李小明人民币50000元。”                “身份证号110101199001011234，联系手机13812345678。”,    )    masker = Masker()    masked = masker.mask_judgment(doc)    print(f“法官：{masked.judge}”)    print(f“原告：{masked.plaintiff}”)    print(f“身份证：{masked.id_number}”)    print(f“地址：{masked.address}”)    print(f“正文：{masked.content}”)     limiter = RateLimiter(min_interval=1.5)    for i in range(3):        limiter.wait()        print(f“第{i + 1}次请求已发送”)  if name == "main":    main()

常见误区

面试题