数据合规：爬虫合规

可视化演示

展示网络爬虫数据采集的合规审查流程，包含Robots协议检查、数据分级合规管理与反爬规避风险评估三个关键环节。

概念与边界

果园不都是完全开放的，有的果子长在路边，伸手就能碰到；有的果子长在围栏里，需要门票甚至钥匙。爬虫技术像一把自动剪刀，可以快速剪下网页上的数据，但剪刀能不能伸出去，取决于数据长在哪个区域。AI 训练需要数据，于是不少人让爬虫满网“剪枝”，却从没想过这条路本身是否合法。

互联网上公开可见的页面，类似路边的果子；但登录后可见、付费墙内、需要授权接口才能访问的数据，就是围栏内的果林。爬虫合规的第一步，是判断目标数据属于哪种访问层级：完全公开、半公开，还是需要特殊授权。很多人觉得“只要能打开网页就能爬”，这是把“看得见”等同于“拿得到”。

技术层面，爬虫是脚本自动发起 HTTP 请求并解析 HTML、JSON 等数据；合规层面，“公开数据”不代表“免费数据”，更不代表“可商用数据”。页面是否声明禁止自动化访问、是否包含个人信息、是否受著作权保护，都会影响行为的法律性质。边界感，决定了你是来果园采购，还是来偷果子。

采摘前先看清果园边界，才能避开大部分雷区。路边的果子可以摘，但你要先确认它没有被喷洒“禁止采摘”的农药。

合规基石

果园主人并不反感采摘，反感的是乱摘一气的人。有人一次性把整棵树的果子摇光，有人把果园的网络给堵住了。合规爬虫的核心，是把自己定位成“礼貌的访客”：目的正当、手段合法、频率克制、尊重协议。

所谓目的正当，是指采集数据不是为了恶意攻击、抄袭竞争或侵犯隐私；手段合法，是指不使用绕过技术措施的黑客手段；频率克制，是指不要像洪水一样涌向目标网站。这四条共同构成爬虫合规的地基。

其中频率克制可以直接量化：爬虫在时间窗口内发起的请求数不能超过服务器能承受的阈值。用公式表示就是：

守规矩的采摘工懂得在园门口放慢脚步，一次摘一点，留出时间让果树继续生长。

机器人协议

果园门口的告示牌，不会说人话，但采摘工看得懂。网站也一样，通过根目录下的 robots.txt 文件，用机器能读懂的语法告诉所有爬虫：哪些区域欢迎你，哪些区域请止步。

这个协议由 User-agent、Allow、Disallow 和 Sitemap 等字段组成。User-agent 用来指定某个爬虫名字，Disallow 指明禁止访问的路径，Allow 则声明在白名单内的路径，Sitemap 相当于给出一份果园地图。

它虽然不是法律文件，却是数据所有者意愿的直接表达。无视 robots.txt，就像无视告示牌冲进禁区；即便没有立刻被起诉，也会在纠纷中变成“明知故犯”的证据。正规搜索引擎、大公司爬虫和成熟的合规团队，都会先读这份文件。

不看告示牌就冲进去，园主人会记住你。下一次，他可能直接给你发律师函而不是口头警告。

用户协议

买票进果园，等于接受了门票背面印的入园须知。用户协议（Terms of Service，简称 ToS）就是网站给所有访客的入园须知，它写明了数据的使用边界。

很多网站的 ToS 明确禁止自动化抓取、禁止将数据用于商业用途、禁止绕过登录机制。爬虫一旦注册了账号并抓取站内数据，就等于在明知规则的情况下违约。即便数据看似公开，ToS 也可能把“仅供个人浏览”这样的限制写在角落。

对于 AI 公司来说，用户协议比 robots.txt 更麻烦：前者是技术声明，后者是法律契约。抓取数据前，法务需要逐条读清“授权范围”“禁止行为”“违约责任”等条款，尤其是关于模型训练和商用的部分。

摘果之前，先看看门票背面的字；一旦摘了，默认你同意这些条款。

知识产权

果园里的每棵树，都可能刻着主人的名字。爬下来的数据并不因为到达你的硬盘就变成无主之物，网页上的文字、图片、音视频仍受著作权保护；结构化数据库还可能受数据库权利保护。

把抓来的内容原样整理成自己的产品，是最常见的侵权姿势。判定侵权时，司法实践会关注“实质性相似”：如果除了来源不同，内容几乎一样，就难逃复制权侵权。即使是摘要、改写，如果过度依赖原文表达，也可能构成演绎侵权。

商标商誉也在范围内：爬取竞品数据并伪装成自己的内容，会让用户误以为二者同源，从而构成不正当竞争。合规的做法是只提取必要的事实信息，标明来源，并在合理使用范围内引用。

摘果不是把整棵果树连根拔起。果子拿走可以，树还留在园里，树上的产权标记你同样要尊重。

技术红线

有些果园装了电子围栏，翻墙进去就是偷窃。反爬机制就是数据果园的电子围栏：验证码、IP 限频、请求签名、行为检测，都是在阻止未经授权的人闯入。

踩着红线的常见操作包括：伪造 User-Agent 伪装成浏览器、使用代理池轮换 IP、破解验证码、绕过前端加密。这些技术手段看似“聪明”，但在法律上可能构成“规避技术保护措施”，轻则民事侵权，重则承担行政甚至刑事责任。

合规的做法不是绕过围栏，而是降低自身攻击性。当请求被限流时，使用退避算法可以让爬虫慢慢冷静下来：

即便最后拿到了果子，进入果园的方式不对，整筐果实都可能在法庭上被没收。

数据使用

摘下来的果子如何搬运、加工、分给别人，同样有讲究。数据离开源网站之后，依然带着原主人的权利标签。

首先，合理引用要控制数量并标明出处，而不是长文转载；其次，凡是涉及个人信息的字段，必须做去标识化处理，否则可能违反个人信息保护法；最后，再发布行为要看原始授权，很多网站允许展示但不允许二次分发，更不允许拿去训练商用 AI 模型。

对 AI 从业者来说，最大的坑是“抓取时合规，训练后失控”。模型会把训练数据内化进参数，一旦训练集包含版权内容，生成结果就可能复现原文片段。因此，在数据入库前就要做来源标注、许可证审查和内容过滤。

果实离开果园，规矩依然跟着走。果篮上写着产地，消费者有权知道这些数据从哪里来。

合规实践

老练的采果人不会只带一个袋子，而是带上一整套工具箱。爬虫合规的落地，也需要把零散的原则变成可执行的工作流。

第一步是风险审计：判断目标网站类型、访问权限、是否包含个人信息；第二步是检查 robots.txt 和用户协议；第三步是设计频率控制与退避策略；第四步是优先使用官方 API。官方 API 是果园主人亲手递出来的篮子，合规风险最低。

工程上，还要保留抓取日志、设置并发上限、定期更新站点名单，并在涉及重大商业模式时咨询专业法务。合规不是一次性审查，而是伴随产品迭代的持续动作。

工具箱里的工具，让每一次采摘都站得住脚；当竞争对手因为侵权被下架时，你可能已经在果园主人的台子上签下了长期合作。

AI 应用场景

Python 演示

import timeimport urllib.robotparserimport requestsfrom urllib.parse import urljoin  class PoliteCrawler:    def __init__(self, base_url, user_agent="CompliantBot/1.0"):        self.base_url = base_url        self.user_agent = user_agent        self.parser = urllib.robotparser.RobotFileParser()        self.parser.set_url(urljoin(base_url, "/robots.txt"))        self.parser.read()        self.min_interval = 1.0        self._retry_count = 0     def can_fetch(self, path):        return self.parser.can_fetch(self.user_agent, urljoin(self.base_url, path))     def fetch(self, path):        if not self.can_fetch(path):            return None        time.sleep(self.min_interval)        url = urljoin(self.base_url, path)        try:            resp = requests.get(url, headers={"User-Agent": self.user_agent}, timeout=5)        except requests.RequestException:            return None        if resp.status_code == 429:            wait = min(60.0, 1.0 * (2 ** self._retry_count))            self._retry_count += 1            time.sleep(wait)            return self.fetch(path)        self._retry_count = 0        return resp  if __name__ == "__main__":    bot = PoliteCrawler("https://example.com")    html = bot.fetch("/public/news")    print(html.text if html else "robots blocked")

1. self.parser.set_url(urljoin(base_url, "/robots.txt"))定位果园门口的告示牌，拼出完整的 robots 文件地址。
2. self.parser.read()把告示牌内容读进来，后面所有判断都基于它。
3. self.parser.can_fetch(self.user_agent, urljoin(self.base_url, path))问告示牌：我这个访客能不能进这条路径。
4. time.sleep(self.min_interval)每次请求前固定休息一秒，控制采摘节奏。
5. wait = min(60.0, 1.0 * (2 ** self._retry_count))被拒绝后按指数退避等待，第一次 1 秒，之后 2、4、8 秒，直到 60 秒封顶。
6. return self.fetch(path)等待结束后重新请求，采用递归方式模拟重试，但不会无限循环。
7. print(html.text if html else "robots blocked")如果告示牌禁止，就直接输出被拦截，而不是强行闯门。

常见误区

面试题