分子性质数据集

可视化演示

展示ZINC、ChEMBL、PubChem三大数据集的维度对比、数据规模及融合流水线，点击步骤切换分析维度。

背景与价值

想象你要给档案馆里的每份“分子档案”做一张借书卡：卡片上既要有分子结构，也要有它的性质标签。分子本身非常小，小到肉眼看不见，于是化学家发明了 SMILES 这类“分子身份证”字符串。靠着这张身份证，计算机才能读懂分子长什么样子；再把溶解度、毒性、活性等性质贴上去，就成了机器学习要用的分子性质数据集。

化学信息学就是研究“分子身份证”与“性质标签”如何互相对应的学科。对 AI 从业者来说，这相当于建立了从结构到性质的桥梁。ZINC、ChEMBL、PubChem 三个数据集，正是这座桥上三座存储量巨大的仓库。

1. N 条记录数：N 代表档案馆里有多少条分子档案，规模越大，越能支撑大模型训练。

$$N$$

2. x_i 分子结构：每条记录的核心是分子结构，通常用 SMILES 或 InChI 字符串表示，相当于分子的身份证号。

$$x_i$$

3. y_i 性质标签：标签可以是活性、毒性、LogP 等性质，这是模型要预测的目标值。

$$y_i$$

4. m_i 元数据：记录中还附带来源、供应商、文献编号等信息，用来做溯源和审计。

$$m_i$$

理解了这个基本结构，再看三座档案库，你就能明白：它们真正的差异不是“谁的文件多”，而是“每份档案上贴了哪些标签、由谁整理、能不能合法使用”。

$$ \displaystyle D = \{ (x_i, y_i, m_i) \}_{i=1}^{N}$$

ZINC数据规模

ZINC 更像一座巨大的化合物样品超市。走进超市，你会看到货架上摆着数不清的小分子，每个瓶子上都贴着供应商编号和价格。它回答的问题是：“这个分子我能不能买到？去哪买？”而不是“这个分子对某个靶点有没有活性”。

从技术上说，ZINC 收录的是商业可购买化合物，并提供 SMILES、SDF 文件、三维构象等格式。ZINC20 的规模已达到亿级以上，尤其适合做虚拟筛选的起点：先在海量分子里筛出候选结构，再去实验室购买验证。它与实验活性库最大的区别，是缺少高质量的生物活性标签。

回到比喻：ZINC 的优势是“货架大、标签清楚”，标签主要指供应商和可购买性，而不是实验活性。因此，如果任务是活性预测而不是货源筛选，直接拿 ZINC 当训练集就不合适，容易学到“能不能买到”而不是“有没有效”。

ChEMBL活性注释

ChEMBL 则完全不同，它像一间由专业图书管理员整理的实验记录馆。管理员们从成千上万篇学术文献中，把“化合物 A 对靶点 B 的 IC50 是多少”这类实验记录工整地抄下来，并标注出原始论文编号，方便你回看证据。

正是这种人工整理过程，让 ChEMBL 成为分子性质数据集中“标签质量”的代表。它的核心字段通常是分子结构、靶点、活性值、测定类型等。IC50 可以通俗理解为：要抑制某个靶点一半活性所需药物浓度，数值越小，通常代表这个分子越强。

ChEMBL 的许可通常采用 CC BY-SA，更新也较规律，非常适合作为活性标签的训练集。但要注意，它只包含已被文献报道过的化合物，覆盖度远不如 ZINC 和 PubChem 的“全量货架”。所以它更像“精确但有限”的实验档案，而不是面面俱到的大全。

PubChem多源聚合

PubChem 的定位则像一座开放公共广场，任何人都可以来摆摊。美国 NIH 把全球大量机构提交的数据聚合在一起，包括化合物结构、生物活性、药物信息、专利片段等。它不追求由同一批管理员统一整理，而是尽量把所有来源的档案都留下。

这让 PubChem 变得非常庞大，但也带来了重复和混乱：同一个分子可能被不同机构以不同格式上传，同一个字段在不同子库里含义也可能不一样。它的优势是可以跨库交叉检索，通过 PUG 接口做程序化访问，非常适合做补充查询和广覆盖筛查。

用 PubChem 做模型训练前，一定要有心理准备：它适合“查资料”，但不适合直接拿来训练。你要像整理一个共享书架那样，去重、去冲突、补齐缺失值，才能真正把公共数据变成高质量训练集。

三大库对比

现在，你站在三座档案馆的十字路口，需要做一次横向对比。ZINC 回答“哪里买”，ChEMBL 回答“活性多少”，PubChem 回答“还能查到什么”。三者的关系不是替代，而是互补。

| 维度 | ZINC | ChEMBL | PubChem |

|---|---|---|---|

| 核心定位 | 可购买化合物目录 | 实验活性文献库 | 多源聚合公共平台 |

| 典型字段 | SMILES、供应商、可购买性 | IC50、靶点、文献来源 | 结构、疾病、基因、毒性等 |

| 许可特点 | 免费开放，重分发需看版本条款 | CC BY-SA，开放友好 | 整体开放，子库许可各异 |

| 更新方式 | 代际更新 | 定期版本发布 | 持续聚合更新 |

回到比喻：如果你要开药店，首先去 ZINC 超市进货；如果要写药效报告，就去 ChEMBL 实验馆查记录；如果想了解某分子是否被其他人研究过，再去 PubChem 广场搜一圈。三座馆各有专长，选库本质是项目需求的映射。

选型与融合

真实项目往往不只依赖一座馆。做一次药物发现管线，可以用 ZINC 提供候选分子，用 ChEMBL 提供活性标签，用 PubChem 补充毒性和专利信息。就像做一道大菜，既要有食材市场，也要有菜谱和营养检测报告。

融合的关键不是简单地把三个文件拼在一起，而是要做去重和冲突处理。同一个分子在三个库中都出现，SMILES 写法可能不同，活性值也可能互相矛盾。通常的做法是先把结构标准化，再以高可信来源为准，并保留每一份记录的来源，做到可追踪。

这里还有一个常被忽略的点：许可合规。ZINC 的条款、ChEMBL 的 CC BY-SA、PubChem 子库的不同授权，决定了你的产物能否商用。数据融合前，最好让数据工程师和法务一起做一张“使用权限清单”，否则模型训练得再好，上线时也可能被版权问题拦下。

实践与流程

最后，把选好的档案变成模型，需要一条完整流程。首先是下载与解析，ZINC 常用 FTP 或分块 SDF 下载，ChEMBL 可以从官网直接获取 TSV 或 SDF，PubChem 则推荐用 PUG 接口做程序化查询。拿到原始文件后，第二步不是立刻训练，而是清洗、筛选和标准化。

清洗内容至少包括：统一原子连接性、去除明显无机盐或结构异常、修正不合法 SMILES、处理缺失值。随后要根据任务做分子表征，例如把 SMILES 转为指纹或图数据。最后再把数据集划分成训练、验证、测试三部分，训练性质预测模型。

从下载、清洗到建模，每一步都像档案馆的整理流程。只有档案编号统一、标签可靠、摆放整齐，模型才能从数据中学到真实的化学规律。记住：数据决定上线，训练只决定上线后的表现。

AI 应用场景

Python 演示

import math MOLE_LIMIT = 1000000 def coverage(records, field):    known = [r for r in records if r.get(field) is not None]    return len(known) / len(records) if records else 0.0 def average_coverage(records):    fields = ["purchasable", "activity", "safety"]    return sum(coverage(records, f) for f in fields) / len(fields) def merge_datasets(groups):    merged = {}    for group in groups:        for rec in group:            key = rec["canonical_smiles"] or rec["id"]            merged[key] = rec    return list(merged.values()) def choose_score(records):    size_score = min(1.0, len(records) / MOLE_LIMIT)    return 0.6 * size_score + 0.4 * average_coverage(records) if __name__ == "__main__":    zinc = [        {"id": "ZINC0001", "canonical_smiles": "CCO", "vendor": "Sigma", "purchasable": True, "activity": None, "safety": None},        {"id": "ZINC0002", "canonical_smiles": "CCN", "vendor": "TCI", "purchasable": True, "activity": None, "safety": None},        {"id": "ZINC0003", "canonical_smiles": "c1ccccc1", "vendor": "Alfa", "purchasable": False, "activity": None, "safety": None},    ]    chembl = [        {"id": "CHEMBL1", "canonical_smiles": "CCO", "vendor": None, "purchasable": None, "activity": -3.2, "safety": "ok"},        {"id": "CHEMBL2", "canonical_smiles": "CCN", "vendor": None, "purchasable": None, "activity": -5.4, "safety": "ok"},        {"id": "CHEMBL3", "canonical_smiles": "O=C(O)C", "vendor": None, "purchasable": None, "activity": None, "safety": "unknown"},    ]    pubchem = [        {"id": "PUBCHEM1", "canonical_smiles": "CCO", "vendor": "Sigma", "purchasable": True, "activity": None, "safety": "ok"},        {"id": "PUBCHEM2", "canonical_smiles": "CC=O", "vendor": "TCI", "purchasable": True, "activity": None, "safety": "ok"},        {"id": "PUBCHEM3", "canonical_smiles": "c1ccccc1", "vendor": "Alfa", "purchasable": False, "activity": None, "safety": "unknown"},    ]     merged = merge_datasets([zinc, chembl, pubchem])    print("merged_records", len(merged))    print("zinc_score", round(choose_score(zinc), 3))    print("chembl_score", round(choose_score(chembl), 3))    print("pubchem_score", round(choose_score(pubchem), 3))

1. def merge_datasets(groups):把所有数据源按序遍历，准备合并。
2. key = rec["canonical_smiles"] or rec["id"]优先用规范 SMILES 做主键，实现分子级去重。
3. merged[key] = rec后写入的记录会覆盖同结构旧记录，模拟多源冲突时的优先级处理。
4. return list(merged.values())去重后返回干净记录列表，供后续模型训练使用。
5. def coverage(records, field):统计某个字段的记录覆盖率，是评判数据质量的重要指标。
6. known = [r for r in records if r.get(field) is not None]过滤掉缺失值，只统计有标签的记录。
7. return len(known) / len(records) if records else 0.0防止空列表导致除零错误。
8. def choose_score(records):综合规模和覆盖率给出选型分数。
9. return 0.6 * size_score + 0.4 * average_coverage(records)当前任务更看重标签覆盖，因此覆盖率权重占四成。
10. merged = merge_datasets([zinc, chembl, pubchem])执行三库合并，得到最终训练集雏形。

常见误区

面试题