Pandas优化加速小技巧

【场景】

使用Pandas对DataFrame数据根据某个维度进行操作&＃xff1a;如统计query列的所有取值&＃xff0c;循环筛选这些取值的样本进行操作

【问题1】

循环筛选符合条件的样本&＃xff0c;使用df[df[&＃39;query&＃39;]&＃61;&＃61;&＃39;query_1&＃39;]非常耗时

【解决】、

使用了

index &＃61; df.query.isin([&＃39;query1&＃39;])
df.loc[index, :]


相比最开始的耗时降低了一半多&＃xff0c;但所有循环加在一起还是慢&＃xff0c;因此采用了如下方法&＃xff1a;

使用词典结构&＃xff0c;将同一query下的样本index放入list中&＃xff0c;如query_idx &＃61; {"query_1":[1,3,10],...}
在筛选为query_1的样本时&＃xff0c;直接使用df.iloc[query_idx[&＃39;query_1&＃39;], :]进行筛选&＃xff0c;由于使用哈希表的搜索操作&＃xff0c;4700万数据的运行时长由300&＃43;小时降为2小时之内

【问题2】

dataframe使用append循环写入随着循环数增加而越来越耗时

【解决】

先把每个循环中的数据放入list&＃xff0c;最后再append进DataFrame中
伪代码&＃xff1a;

list_per_iter &＃61; []
res &＃61; pd.DataFrame()
每次循环:list_per_iter.append(每次的datafram结构数据)
res.append(df_per_iter)


最终4700万数据的运行时间&＃xff1a;

参考链接

几个方法帮你加快Python运行速度
还在抱怨pandas运行速度慢&＃xff1f;这几个方法会颠覆你的看法
提速千倍&＃xff01;Pandas性能优化方法&＃xff0c;让你的pandas飞起来&＃xff01;