nvidiarapids︱cuDF与pandas一样的DataFrame库

cuDF&＃xff08;https://github.com/rapidsai/cudf&＃xff09;是一个基于Python的GPU DataFrame库&＃xff0c;用于处理数据&＃xff0c;包括加载、连接、聚合和过滤数据。向GPU的转移允许大规模的加速&＃xff0c;因为GPU比CPU拥有更多的内核。

笔者觉得&＃xff0c;对于我来说一个比较好的使用场景是&＃xff0c;代替并行&＃xff0c;在pandas处理比较慢的时候&＃xff0c;切换到cuDF&＃xff0c;就不用写繁琐的并行了。

官方文档&＃xff1a;
1 Docs » API Reference
2 rapidsai/cudf

相关参考&＃xff1a;

nvidia-rapids︱cuDF与pandas一样的DataFrame库
NVIDIA的python-GPU算法生态 ︱ RAPIDS 0.10
nvidia-rapids︱cuML机器学习加速库
nvidia-rapids︱cuGraph(NetworkX-like)关系图模型

1 cuDF背景与安装

1.1 背景

cuDF在过去一年中的发展速度非常之快。每个版本都加入了令人兴奋的新功能、优化和错误修复。0.10版本也不例外。cuDF 0.10版本的一些新功能包括 groupby.quantile()、Series.isin()、从远程/云文件系统&＃xff08;例如hdfs、gcs、s3&＃xff09;读取、Series和DataFrame isna()、按分组功能中的任意长度Series分组 、Series 协方差和Pearson相关性以及从DataFrame / Series .values 属性返回 CuPy数组。此外&＃xff0c;apply UDF函数API经过了优化&＃xff0c;并且加入了通过.iloc访问器的收集和散播方法。

除了提供所有上述出色的功能、优化和错误修复之外&＃xff0c;cuDF 0.10版本还花费大量的精力构建未来。该版本将cuStrings存储库合并到cuDF中&＃xff0c;并为合并两个代码库做好了准备&＃xff0c;使字符串功能能够被更紧密地集成到cuDF中&＃xff0c;以此提供更快的加速和更多的功能。此外&＃xff0c;RAPIDS添加了cuStreamz元数据包&＃xff0c;因此可以使用cuDF和Streamz库简化GPU加速流处理。cuDF继续改进其Pandas API兼容性和Dask DataFrame互操作性&＃xff0c;使我们的用户可以最大程度地无缝使用cuDF。

在幕后&＃xff0c;libcudf的内部架构正在经历一次重大的重新设计。0.10版本加入了最新的cudf :: column和cudf :: table类&＃xff0c;这些类大大提高了内存所有权控制的强健性&＃xff0c;并为将来支持可变大小数据类型&＃xff08;包括字符串列、数组和结构&＃xff09;奠定了基础。由于已构建对整个libcudf API中的新类的支持&＃xff0c;这项工作将在下一个版本周期中继续进行。此外&＃xff0c;libcudf 0.10添加了许多新的API和算法&＃xff0c;包括基于排序、支持空数据的分组功能、分组功能分位数和中位数、cudf :: unique_count&＃xff0c;cudf :: repeat、cudf :: scatter_to_tables等。与以往一样&＃xff0c;此版本还包括许多其他改进和修复。

RAPIDS内存管理器库RMM也正在进行一系列重组。这次重组包括一个基于内存资源的新架构&＃xff0c;该架构与C &＃43;&＃43; 17 std :: pmr :: memory_resource大多兼容。这使该库更容易在公共接口之后添加新类型的内存分配器。0.10还用Cython取代了CFFI Python绑定&＃xff0c;从而使C &＃43;&＃43;异常可以传播到Python异常&＃xff0c;使更多可调整的错误被传递给应用程序。下一个版本将继续提高RMM中的异常支持。

最后&＃xff0c;你会注意到cuDF在这个版本中速度有了显著提升&＃xff0c;包括join&＃xff08;最多11倍&＃xff09;、gather和scatter on tables&＃xff08;速度也快2-3倍&＃xff09;的大幅性能改进&＃xff0c;以及更多如图5所示的内容。

图5&＃xff1a;单个NVIDIA Tesla V100&＃xff08;立即免费试用&＃xff09; GPU与双路Intel Xeon E5–2698 v4 CPU&＃xff08;20核&＃xff09;上的cuDF vs Pandas加速

1.2 安装

有conda可以直接安装&＃xff0c;也可以使用docker&＃xff0c;参考&＃xff1a;https://github.com/rapidsai/cudf

conda版本&＃xff0c;cudf version &＃61;&＃61; 0.10

# for CUDA 9.2
conda install -c rapidsai -c nvidia -c numba -c conda-forge \cudf&＃61;0.10 python&＃61;3.6 cudatoolkit&＃61;9.2# or, for CUDA 10.0
conda install -c rapidsai -c nvidia -c numba -c conda-forge \cudf&＃61;0.10 python&＃61;3.6 cudatoolkit&＃61;10.0# or, for CUDA 10.1
conda install -c rapidsai -c nvidia -c numba -c conda-forge \cudf&＃61;0.10 python&＃61;3.6 cudatoolkit&＃61;10.1


docker版本&＃xff0c;可参考&＃xff1a;https://rapids.ai/start.html#prerequisites

docker pull rapidsai/rapidsai:cuda10.1-runtime-ubuntu16.04-py3.7
docker run --gpus all --rm -it -p 8888:8888 -p 8787:8787 -p 8786:8786 \rapidsai/rapidsai:cuda10.1-runtime-ubuntu16.04-py3.7


2 一些demo

2.1 新建dataframe

import cudf
import numpy as np
from datetime import datetime, timedeltat0 &＃61; datetime.strptime(&＃39;2018-10-07 12:00:00&＃39;, &＃39;%Y-%m-%d %H:%M:%S&＃39;)
n &＃61; 5
df &＃61; cudf.DataFrame({&＃39;id&＃39;: np.arange(n),&＃39;datetimes&＃39;: np.array([(t0&＃43; timedelta(seconds&＃61;x)) for x in range(n)])
})
df


Build DataFrame via list of rows as tuples:

>>> import cudf
>>> df &＃61; cudf.DataFrame([(5, "cats", "jump", np.nan),(2, "dogs", "dig", 7.5),(3, "cows", "moo", -2.1, "occasionally"),
])
>>> df
0 1 2 3 4
0 5 cats jump null None
1 2 dogs dig 7.5 None
2 3 cows moo -2.1 occasionally


2.2 pandas 与 cuDF切换

pandas到 cuDF

>>> import pandas as pd
>>> import cudf
>>> pdf &＃61; pd.DataFrame({&＃39;a&＃39;: [0, 1, 2, 3],&＃39;b&＃39;: [0.1, 0.2, None, 0.3]})
>>> df &＃61; cudf.from_pandas(pdf)
>>> dfa b
0 0 0.1
1 1 0.2
2 2 nan
3 3 0.3


cuDF 到pandas

>>> import cudf
>>> gdf &＃61; cudf.DataFrame({&＃39;a&＃39;: [1, 2, None], &＃39;b&＃39;: [3, None, 5]})
>>> gdf.fillna(4).to_pandas()
a b
0 1 3
1 2 4
2 4 5
>>> gdf.fillna({&＃39;a&＃39;: 3, &＃39;b&＃39;: 4}).to_pandas()
a b
0 1 3
1 2 4
2 3 5


2.3 选中某行列

df &＃61; cudf.DataFrame({&＃39;a&＃39;: list(range(20)),&＃39;b&＃39;: list(range(20)),&＃39;c&＃39;: list(range(20))})
df


df.iloc[1]a 1
b 1
c 1
Name: 1, dtype: int64


2.4 apply_rows和apply_chunks

apply_rows

import cudf
import numpy as np
from numba import cudadf &＃61; cudf.DataFrame()
df[&＃39;in1&＃39;] &＃61; np.arange(1000, dtype&＃61;np.float64)def kernel(in1, out):for i, x in enumerate(in1):print(&＃39;tid:&＃39;, cuda.threadIdx.x, &＃39;bid:&＃39;, cuda.blockIdx.x,&＃39;array size:&＃39;, in1.size, &＃39;block threads:&＃39;, cuda.blockDim.x)out[i] &＃61; x * 2.0outdf &＃61; df.apply_rows(kernel,incols&＃61;[&＃39;in1&＃39;],outcols&＃61;dict(out&＃61;np.float64),kwargs&＃61;dict())print(outdf[&＃39;in1&＃39;].sum()*2.0)
print(outdf[&＃39;out&＃39;].sum())>>> 999000.0
>>> 999000.0

apply_chunks

import cudf
import numpy as np
from numba import cudadf &＃61; cudf.DataFrame()
df[&＃39;in1&＃39;] &＃61; np.arange(100, dtype&＃61;np.float64)def kernel(in1, out):print(&＃39;tid:&＃39;, cuda.threadIdx.x, &＃39;bid:&＃39;, cuda.blockIdx.x,&＃39;array size:&＃39;, in1.size, &＃39;block threads:&＃39;, cuda.blockDim.x)for i in range(cuda.threadIdx.x, in1.size, cuda.blockDim.x):out[i] &＃61; in1[i] * 2.0outdf &＃61; df.apply_chunks(kernel,incols&＃61;[&＃39;in1&＃39;],outcols&＃61;dict(out&＃61;np.float64),kwargs&＃61;dict(),chunks&＃61;16,tpb&＃61;8)print(outdf[&＃39;in1&＃39;].sum()*2.0)
print(outdf[&＃39;out&＃39;].sum())>>> 9900.0
>>> 9900.0

2.5 groupby

from cudf import DataFrame
df &＃61; DataFrame()
df[&＃39;key&＃39;] &＃61; [0, 0, 1, 1, 2, 2, 2]
df[&＃39;val&＃39;] &＃61; [0, 1, 2, 3, 4, 5, 6]
groups &＃61; df.groupby([&＃39;key&＃39;], method&＃61;&＃39;cudf&＃39;)# Define a function to apply to each row in a group
def mult(df):df[&＃39;out&＃39;] &＃61; df[&＃39;key&＃39;] * df[&＃39;val&＃39;]return dfresult &＃61; groups.apply(mult)
print(result)


输出&＃xff1a;

key val out
0 0 0 0
1 0 1 0
2 1 2 2
3 1 3 3
4 2 4 8
5 2 5 10
6 2 6 12


之后&＃xff0c;用到的时候再追加。。