Polars：高性能DataFrame

为什么需要 Polars：pandas 在大数据场景下的性能短板

pandas 是 Python 数据分析的事实标准，但其执行模型存在结构性瓶颈：默认单线程执行，无法充分利用多核 CPU；字符串与混合类型以对象数组存储，内存开销偏高；每次操作都返回新对象，长操作链产生大量中间拷贝。当数据量达到数 GB 时，pandas 的 groupby、join、apply 等操作耗时可达分钟级甚至更长，在 ETL 管道中常成为整体吞吐的瓶颈。

Polars 将核心引擎用 Rust 编写，数据以 Apache Arrow 列式内存格式存储，天然支持 SIMD 向量化与多线程并行，每个 CPU 核分摊一列或一块数据。惰性执行模式下，Polars 先构建完整查询计划，由优化器统一完成谓词下推、投影消除等优化，再一次性执行。官方发布说明与社区基准普遍报告：在典型过滤、聚合与连接场景中，Polars 比 pandas 快 5-50 倍，内存占用更低。

与 pandas「对 DataFrame 对象进行命令式操作」不同，Polars 的 API 以表达式为核心，几乎所有操作都可以在同一表达式中声明式组合。这意味着 pandas 代码无法通过替换 import 来迁移，需要重构为链式表达式风格——这是 Polars 最主要的迁移成本，也是文档中反复强调的学习门槛。

安装与环境配置：3 步就绪

步骤一·安装基础版。 基础安装只需一个命令。默认包含核心引擎与 CSV、JSON、NDJSON、Parquet、Arrow IPC 等常用读写能力；如需 PyTorch、Delta Lake 等附加集成，改用 [all] 扩展。

步骤二·配置可选依赖。 Polars 通过 extra 依赖控制功能裁剪，生产环境建议按需安装，避免 [all] 引入无关依赖造成体积膨胀与升级冲突。polars[pyarrow] 提供与 Arrow 生态的互操作，polars[fsspec] 支持读取 S3、GCS、Azure 等云存储文件。

步骤三·验证安装。 执行以下命令确认版本与基本功能正常。

预期输出形如 1.13.0 与 (2, 1)，说明安装成功。若打印出版本号但 DataFrame 构造报错，多为 Python 3.9 以下版本不兼容所致，建议升级到 Python 3.10+。

pip install polars# 或安装完整功能版pip install "polars[all]"

pip install "polars[pyarrow,fsspec]"

python -c "import polars as pl; print(pl.__version__); print(pl.DataFrame({'a': [1, 2]}).shape)"

# 完整安装链路（安装 + 可选依赖 + 验证）pip install "polars[pyarrow,fsspec]" && \python -c "import polars as pl; print(pl.__version__); print(pl.DataFrame({'a': [1, 2]}).shape)"

快速上手：5 分钟跑通第一个聚合分析

最小可用流程的思路：用一组包含 id、group、score 的 CSV 数据，体验「读取 → 过滤 → 分组聚合 → 排序 → 输出」的完整链路，同时对比 Eager 与 Lazy 两种写法的差异。先准备一张 data.csv（数千行即可），按以下步骤操作：

1. Eager 模式：pl.read_csv("data.csv") 立即读取为 DataFrame，之后用链式方法依次执行 filter、group_by、agg、sort。

2. Lazy 模式：pl.scan_csv("data.csv") 返回 LazyFrame，不实际读取数据，只记录查询意图；链式组装后调用 .collect() 才真正执行。

3. 查看执行计划：对 LazyFrame 调用 .explain()，观察优化器如何将 filter(score > 80) 下推到读取阶段，减少进入内存的数据量。

两种写法输出完全一致。区别在于 Lazy 模式下过滤条件被下推到读取阶段，谓词在文件解析时就生效。进阶技巧：文件超过内存容量时，将 .collect() 改为 .collect(streaming=True)，Polars 会分块处理，内存峰值可下降一个数量级。

import polars as pl # 1. Eager（即时执行）df = pl.read_csv("data.csv")result_eager = (    df.filter(pl.col("score") > 80)    .group_by("group")    .agg(pl.col("score").mean().alias("avg_score"))    .sort("avg_score", descending=True)) # 2. Lazy（惰性执行）q = (    pl.scan_csv("data.csv")    .filter(pl.col("score") > 80)    .group_by("group")    .agg(pl.col("score").mean().alias("avg_score"))    .sort("avg_score", descending=True))print(q.explain())        # 查看优化后的执行计划result_lazy = q.collect() # 触发执行 print(result_eager)print(result_lazy)

核心能力详解：4 大支柱

支柱一·表达式系统。 表达式是 Polars 的最小操作单元。pl.col("a") 选取列后，可在同一表达式中串联 mean()、log()、cast() 等算子，作用于整列而非逐行循环，这是性能的核心来源。例如 (pl.col("a") + pl.col("b")).log() 在 Rust 层完成向量化运算。表达式还支持 group_by 聚合内联、when/then/otherwise 条件逻辑和窗口函数，表达能力覆盖 pandas 大部分场景。

支柱二·LazyFrame 与查询优化器。 pl.scan_csv、pl.scan_parquet 返回 LazyFrame，.collect() 才实际执行。执行前优化器自动完成谓词下推、投影消除、连接重排与公共子查询缓存。.explain() 可查看最终执行计划，是排查性能问题的标准工具；对比 explain(optimized=False) 与 explain(optimized=True)，可确认优化是否生效。

支柱三·流式执行（Streaming）。 collect(streaming=True) 时，Polars 按块读取、处理并释放数据，配合 Parquet 分片读取，使单机可处理超过内存容量的数据集。官方建议在数据量达到内存 5-10 倍时开启。注意 streaming 模式并非支持全部算子，部分 join 与排序会回退到非流式执行，需用 explain 确认。

支柱四·多数据源与 SQL 接口。 原生支持 CSV、Parquet、JSON、Arrow IPC、Delta Lake 以及 S3/GCS/Azure 云存储，scan_* 系列统一提供惰性读取入口。SQLContext 可将注册的 DataFrame/LazyFrame 以 SQL 查询，适合已有 SQL 团队复用查询逻辑，也便于将现有数据库查询平滑迁移到列式引擎上。

生产部署与监控：从上线到运维

部署方式一·ETL 任务嵌入。 Polars 作为库嵌入 Python 脚本或 Airflow 等调度系统。每日增量文件用 pl.scan_parquet("s3://bucket/daily/*.parquet") 惰性读取，配合 streaming 控制内存水位。务必在 requirements.txt 固定 polars 版本——0.x 与 1.x 的 API 差异极大，线上静默升级是常见故障源。

部署方式二·轻量 SQL 服务。 用 SQLContext 将 Parquet/Delta 文件注册为表，对 API 服务暴露只读查询能力，承担部分数仓加速职责。多个 Parquet 分区并行读取与聚合的场景下，Polars 常优于直接查对象存储或维护常驻数据库的成本。

可观测性。 性能层面：用 .explain() 确认谓词下推与投影消除是否生效；用 .profile()（LazyFrame 方法）获取每个步骤的耗时与内存占用明细；用 psutil 或 tracemalloc 监控进程内存峰值。业务层面：对每次 .collect() 的输入行数、输出行数与耗时打点，与历史基线比对，异常波动即可触发告警。日志中记录查询计划指纹，便于定位慢查询是数据倾斜还是计划退化。

<p class=“para-label“>避坑清单：</p><ul class=”dash-list”><li>pandas 与 Polars 都叫 DataFrame：混用时建议 import polars as pl，并显式标明变量类型，避免 to_pandas()/from_pandas() 隐式转换造成的类型与索引行为差异。</li><li>0.x 到 1.x 是破坏性升级：1.0 起承诺向后兼容，但 0.20 及更早版本的 groupby、apply 等 API 已变更或重命名，升级前必须通读迁移指南并跑通测试套件。</li><li>map_elements 性能陷阱：对每行调用 Python 自定义函数会退化为逐行 Python 循环，性能下跌数十倍；优先用原生表达式或 map_batches 向量化替代。</li><li>streaming 不覆盖全部算子：部分 join、sort 在流式模式下回退为全量内存执行，大文件场景需用 explain 确认实际执行方式，避免内存溢出。</li></ul>

版本迭代

Polars 自 2020 年开源以来采取「先铺功能、后稳 API」的策略：0.x 阶段快速扩充表达式函数与数据源支持，2023 年下半年着手 API 收敛，2024 年 2 月发布 1.0 稳定版并承诺向后兼容，此后以月度小版本节奏持续优化引擎性能与 I/O。（截至训练数据，1.13 之后可能已有更新版本。）

AI 应用场景

常见误区

面试题