摘要
十多年来,Pandas 一直是 Python 中数据框架库的黄金标准,也是处理表格数据集的首选工具。大多数(如果不是全部)与第三方应用程序的连接器在处理数据集时都使用了 Pandas API。事实上,Pandas 已经成为事实标准,而且可能会继续保持这个地位。
**近期出现了 Polars库。Polars 是一个“用于 Rust 和 Python 的高速 DataFrame 库”,构建在 Apache Arrow 内存格式之上。Polars 的卖点是速度,这在 **H2O.ai 的基准测试中得到了证明,主要针对数据库操作,如连接、分组和聚合。然而,我特别关注 Polars 在 I/O 性能上与 Pandas 的比较。在本文中,我们将探讨 Polars 和 Pandas 在读取和写入的性能。a
数据集
file |
Rows |
Columns |
size |
medium.csv |
2200000 |
27 |
1.1G |
medium.csv |
2200000 |
3 |
121M |
large.csv |
100000000 |
3 |
5.4G |
large.csv |
100000000 |
12 |
22G |
测试代码
import polars as pl
import pandas as pd
import numpy as np
from pathlib import Path
def write_to_csv_use_pl(df, file_path: Path):
if file_path.exists():
file_path.unlink()
df.write_csv(str(file_path))
def write_to_csv_use_pd(df, file_path: Path):
if file_path.exists():
file_path.unlink()
df.to_csv(str(file_path), index=False)
def read_csv_use_pl(file_path: Path):
return pl.read_csv(str(file_path))
def read_csv_use_pd(file_path: Path):
return pd.read_csv(str(file_path))
# 构造数据代码
def construct_dataset_pd(rows, columns):
data = np.random.rand(rows, columns)
df = pd.DataFrame(data)
return df
def construct_dataset_pl(rows, columns):
data = np.random.rand(rows, columns)
df = pd.DataFrame(data)
return pl.from_pandas(df)

测试结果
机器配置
CPU |
Memory |
SSD |
10980HK |
64G |
1T |
file |
Rows |
Columns |
size |
pandas write |
polars write |
pandas read |
polars read |
medium.csv |
2200000 |
3 |
121M |
1.02 s ± 169 ms |
333 ms ± 14.9 ms |
10.5 s ± 726 ms |
65.6 ms ± 1.84 ms |
medium1.csv |
2200000 |
27 |
1.1G |
1min 17s ± 1.95 s |
1.43 s ± 148 ms |
15.2 s ± 646 ms |
570 ms ± 42.6ms |
large.csv |
100000000 |
3 |
5.4G |
7min 40s ± 9.41 s |
13.3 s ± 2.01 s |
38.1 s ± 1.98 s |
3.24 s ± 79.6 ms |
large1.csv |
100000000 |
12 |
22G |
- |
- |
- |
- |
机器配置
CPU |
Memory |
SSD |
12700K |
32G |
1T |
file |
Rows |
Columns |
size |
pandas write |
polars write |
pandas read |
polars read |
medium.csv |
2200000 |
3 |
121M |
3.65 s ± 3.28 ms |
213 ms ± 3.66 ms |
351 ms ± 935 µs |
26.9 ms ± 1.2 ms |
medium1.csv |
2200000 |
27 |
1.1G |
27.8 s ± 51.9 ms |
1.1 s ± 43.3 ms |
3.52 s ± 46.8 ms |
160 ms ± 10.8 ms |
large.csv |
100000000 |
3 |
5.4G |
2min 45s ± 633 ms |
9 s ± 1.05 s |
18.1 s ± 1.22 s |
1.05 s ± 63.3 ms |
large1.csv |
100000000 |
12 |
22G |
- |
1min ± 8.15 s |
- |
9.97 s ± 1.79 s |
总结
Polars 能够使用CPU的多核能力,比起Pandas只能使用一个核,能过极大提高其工作效率。
评论区