目 录CONTENT

文章目录

【Python】Polars vs Pandas FileIO Benchmark

EulerBlind
2025-07-01 / 0 评论 / 0 点赞 / 0 阅读 / 0 字

摘要

十多年来,Pandas 一直是 Python 中数据框架库的黄金标准,也是处理表格数据集的首选工具。大多数(如果不是全部)与第三方应用程序的连接器在处理数据集时都使用了 Pandas API。事实上,Pandas 已经成为事实标准,而且可能会继续保持这个地位。

**近期出现了 Polars库。Polars 是一个“用于 Rust 和 Python 的高速 DataFrame 库”,构建在 Apache Arrow 内存格式之上。Polars 的卖点是速度,这在 **H2O.ai 的基准测试中得到了证明,主要针对数据库操作,如连接、分组和聚合。然而,我特别关注 Polars 在 I/O 性能上与 Pandas 的比较。在本文中,我们将探讨 Polars 和 Pandas 在读取和写入的性能。a

数据集

file Rows Columns size
medium.csv 2200000 27 1.1G
medium.csv 2200000 3 121M
large.csv 100000000 3 5.4G
large.csv 100000000 12 22G

测试代码

import polars as pl
import pandas as pd
import numpy as np
from pathlib import Path
​
def write_to_csv_use_pl(df, file_path: Path):
    if file_path.exists():
        file_path.unlink()
    df.write_csv(str(file_path))
​
def write_to_csv_use_pd(df, file_path: Path):
    if file_path.exists():
        file_path.unlink()
    df.to_csv(str(file_path), index=False)
​
def read_csv_use_pl(file_path: Path):
    return pl.read_csv(str(file_path))
​
def read_csv_use_pd(file_path: Path):
    return pd.read_csv(str(file_path))
​
# 构造数据代码
def construct_dataset_pd(rows, columns):
    data = np.random.rand(rows, columns)
    df = pd.DataFrame(data)
    return df
​
def construct_dataset_pl(rows, columns):
    data = np.random.rand(rows, columns)
    df = pd.DataFrame(data)
    return pl.from_pandas(df)

点击并拖拽以移动

测试结果

机器配置

CPU Memory SSD
10980HK 64G 1T
file Rows Columns size pandas write polars write pandas read polars read
medium.csv 2200000 3 121M 1.02 s ± 169 ms 333 ms ± 14.9 ms 10.5 s ± 726 ms 65.6 ms ± 1.84 ms
medium1.csv 2200000 27 1.1G 1min 17s ± 1.95 s 1.43 s ± 148 ms 15.2 s ± 646 ms 570 ms ± 42.6ms
large.csv 100000000 3 5.4G 7min 40s ± 9.41 s 13.3 s ± 2.01 s 38.1 s ± 1.98 s 3.24 s ± 79.6 ms
large1.csv 100000000 12 22G - - - -

机器配置

CPU Memory SSD
12700K 32G 1T
file Rows Columns size pandas write polars write pandas read polars read
medium.csv 2200000 3 121M 3.65 s ± 3.28 ms 213 ms ± 3.66 ms 351 ms ± 935 µs 26.9 ms ± 1.2 ms
medium1.csv 2200000 27 1.1G 27.8 s ± 51.9 ms 1.1 s ± 43.3 ms 3.52 s ± 46.8 ms 160 ms ± 10.8 ms
large.csv 100000000 3 5.4G 2min 45s ± 633 ms 9 s ± 1.05 s 18.1 s ± 1.22 s 1.05 s ± 63.3 ms
large1.csv 100000000 12 22G - 1min ± 8.15 s - 9.97 s ± 1.79 s

总结

Polars 能够使用CPU的多核能力,比起Pandas只能使用一个核,能过极大提高其工作效率。

0

评论区