python3.x - 求助python下高效且支持大数据量的database2excel方案

 mobiledu2502880777 发布于 2022-10-26 19:12

大家好。小弟目前需要一个速度较好,且支持大数据量的数据库导出至excel(xlsx)的方案
小弟的机器配置不高,4核的CPU,可用内存在8G左右(不过是虚拟机,可能性能实际还要低一点)
小弟之前尝试过以下几种方案
openpyxl:大数据量情况下经常会吃光内存。实验生成100W条/每条6个字段的数据,经常会把小弟这8G内存吃满。生成excel时间大概在10分钟~11分钟左右
pyexcel_xlsx:貌似这部分引用的还是openpyxl的东东…不过貌似有一定的优化,生成生成100W条/每条6个字段的数据,消耗内存近3G,时间在8分半左右

这两个方案效率都非常低,而且小弟目前都没有找到中途将内存写入文件的方法…

请各位大大指点,是否还有其他的方案,最好是能够控制单次写入条数,例如每写入5W条,进行一次提交,将内存的东东写在文件中并释放内存,再继续写入这样的。(这样也许可以考虑配合多线程来进行并行写入,加快效率…)
谢谢各位了

1 个回答
  • pandas有分块读取的功能,关键词chunksize
    df = pd.read_csv("xxxx",chunksize=10000)
    可以去研究下文档:http://pandas.pydata.org/pand...

    2022-10-27 01:28 回答
撰写答案
今天,你开发时遇到什么问题呢?
立即提问
热门标签
PHP1.CN | 中国最专业的PHP中文社区 | PNG素材下载 | DevBox开发工具箱 | json解析格式化 |PHP资讯 | PHP教程 | 数据库技术 | 服务器技术 | 前端开发技术 | PHP框架 | 开发工具 | 在线工具
Copyright © 1998 - 2020 PHP1.CN. All Rights Reserved 京公网安备 11010802041100号 | 京ICP备19059560号-4 | PHP1.CN 第一PHP社区 版权所有