作者:多米音乐_34058991 | 来源:互联网 | 2022-09-26 01:46
Pandas和Numpy大家都不陌生了,代码运行后数据都加载到RAM中,如果数据集特别大,我们就会看到内存飙升。但有时要处理的数据并不适合RAM,这时候Dask来了。
python视频教程栏目介绍一个大数据分析神器3、Dask安装
可以使用 conda
或者 pip
,或从源代码安装dask
。
conda install dask
因为dask
有很多依赖,所以为了快速安装也可用下面代码,将安装运行Dask
所需的最少依赖关系集。
conda install dask-core
再有就是通过源来安装。
git clone https://github.com/dask/dask.git
cd dask
python -m pip install .
4、Dask如何使用?
Numpy、pandas
Dask
引入了3个并行集合,它们可以存储大于RAM的数据,这些集合有DataFrame
、Bags
、Arrays
。这些集合类型中的每一个都能够使用在RAM和硬盘之间分区的数据,以及分布在群集中多个节点上的数据。
Dask
的使用是非常清晰的,如果你使用NumPy
数组,就从Dask
数组开始,如果你使用Pandas DataFrame
,就从Dask DataFrame
开始,依此类推。
import dask.array as da
x = da.random.uniform(low=0, high=10, size=(10000, 10000), # normal numpy code
chunks=(1000, 1000)) # break into chunks of size 1000x1000
y = x + x.T - x.mean(axis=0) # Use normal syntax for high level algorithms
# DataFrames
import dask.dataframe as dd
df = dd.read_csv('2018-*-*.csv', parse_dates='timestamp', # normal Pandas code
blocksize=64000000) # break text into 64MB chunks
s = df.groupby('name').balance.mean() # Use normal syntax for high level algorithms
# Bags / lists
import dask.bag as db
b = db.read_text('*.json').map(json.loads)
total = (b.filter(lambda d: d['name'] == 'Alice')
.map(lambda d: d['balance'])
.sum())
这些高级接口在略微变化的情况下复制了标准接口。对于原始项目中的大部分API,这些接口会自动为我们并行处理较大的数据集,实现上不是很复杂,对照Dask
的doc文档即可一步步完成。
Delayed
下面说一下Dask
的 Delay
功能,非常强大。
Dask.delayed
是一种并行化现有代码的简单而强大的方法。之所以被叫做delayed
是因为,它没有立即计算出结果,而是将要作为任务计算的结果记录在一个图形中,稍后将在并行硬件上运行。
有时问题用已有的dask.array
或dask.dataframe
可能都不适合,在这些情况下,我们可以使用更简单的dask.delayed
界面并行化自定义算法。例如下面这个例子。
def inc(x):
return x + 1
def double(x):
return x * 2
def add(x, y):
return x + y
data = [1, 2, 3, 4, 5]
output = []
for x in data:
a = inc(x)
b = double(x)
c = add(a, b)
output.append(c)
total = sum(output)
45
上面代码在单个线程中按顺序运行。但是,我们看到其中很多可以并行执行。Dask delayed
函数可修饰inc
、double
这些函数,以便它们可延迟运行,而不是立即执行函数,它将函数及其参数放入计算任务图中。
我们简单修改代码,用delayed
函数包装一下。
import dask
output = []
for x in data:
a = dask.delayed(inc)(x)
b = dask.delayed(double)(x)
c = dask.delayed(add)(a, b)
output.append(c)
total = dask.delayed(sum)(output)
代码运行后inc
、double
、add
和sum
都还没有发生,而是生成一个计算的任务图交给了total
。然后我们用visualizatize
看下任务图。
total.visualize()
上图明显看到了并行的可能性,所以毫不犹豫,使用compute
进行并行计算,这时才完成了计算。
>>> total.compute()
45
由于数据集较小无法比较时间,这里只介绍下使用方法,具体可自己动手实践下。
Sklearn机器学习
关于机器学习的并行化执行,由于内容较多,东哥会在另一篇文章展开。这里简单说下一下dask-learn
。
dask-learn
项目是与Sklearn
开发人员协作完成的。现在可实现并行化有Scikit-learn
的Pipeline
、GridsearchCV
和RandomSearchCV
以及这些的变体,它们可以更好地处理嵌套的并行操作。
因此,如果你将sklearn
替换为dklearn
,那么速度将会提升很多。
# from sklearn.grid_search import GridSearchCV
from dklearn.grid_search import GridSearchCV
# from sklearn.pipeline import Pipeline
from dklearn.pipeline import Pipeline
下面是一个使用Pipeline的示例,其中应用了PCA和逻辑回归。
from sklearn.datasets import make_classification
X, y = make_classification(n_samples=10000,
n_features=500,
n_classes=2,
n_redundant=250,
random_state=42)
from sklearn import linear_model, decomposition
from sklearn.pipeline import Pipeline
from dklearn.pipeline import Pipeline
logistic = linear_model.LogisticRegression()
pca = decomposition.PCA()
pipe = Pipeline(steps=[('pca', pca),
('logistic', logistic)])
grid = dict(pca__n_compOnents=[50, 100, 150, 250],
logistic__C=[1e-4, 1.0, 10, 1e4],
logistic__penalty=['l1', 'l2'])
# from sklearn.grid_search import GridSearchCV
from dklearn.grid_search import GridSearchCV
estimator = GridSearchCV(pipe, grid)
estimator.fit(X, y)
结果是:sklearn
会在40秒钟左右执行此计算,而dask-learn
替代品大约需要10秒钟。
另外,如果添加以下代码可以连接到集群,通过Client
可以展示整个计算过程的dashboard
,由Bokeh
实现。
from dask.distributed import Client
c = Client('scheduler-address:8786')
5、总结
以上就是Dask
的简单介绍,Dask的功能是非常强大的,且说明文档也非常全,既有示例又有解释。感兴趣的朋友可以自行去官网或者GitHub
学习,东哥下次分享使用Dask
进行机器学习的一些实例。
以上就是安利大家一个Python大数据分析神器的详细内容,更多请关注其它相关文章!