PHP批量导入Excel造成网站卡住问题

 余方兰很快乐 发布于 2022-12-01 09:59

因用户需要,给网站增加了一项批量导入excel功能,单个excel文件记录大概2万到3万行,20列左右数据,目前测试发现每次导入数据的时候,都会造成网站其他功能短暂卡住无法使用的情况,直至excel全部处理完才可访问。目前每一行记录均通过网站API统一入库(进行一系列的权限、查询、增加、修改、去重、记录日志等操作)。

不知道有什么方法可以改进,使其导入同时不影响其他用户使用,目前想到的办法是将excel解析结果临时保存到xcache,然后分批(30000条/50条=600次)导入。不知是否有更好的办法。

6 个回答
  • 这个问题我也遇到过,不知道楼主遇到的情况是不是和我一样
    两个写法都是用的同一个版本的PHPEXCEL,但是不知道为啥第一种会慢很多~

    以下是老代码

    //代码是基于Yii1
    set_time_limit(0);//这个一定要
    $Excel = CUploadedFile::getInstanceByName("Excel");
    $filePath = $Excel->getTempName() . '.' . $Excel->getExtensionName();
    $Excel->saveAs($filePath);
    Yii::import("application.extensions.*");
    $excel = new ExcelReader($filePath);
    foreach ($excel->getWorksheetList() as $worksheet => $value) {
        $rs = $excel->getWorksheetData($worksheet);
        if (!empty($rs)) {
            foreach ($rs as $index => $row) {
                $name = $row[1];
                $phone = $row[2];
                //more code...
            }
    }
    

    以下是新代码

    //代码是基于Yii1
    set_time_limit(0);//这个一定要
    $Excel = CUploadedFile::getInstanceByName("Excel");
    $filePath = $Excel->getTempName() . '.' . $Excel->getExtensionName();
    $Excel->saveAs($filePath);
    Yii::import("application.extensions.*");
    $PHPExcel = new PHPExcel();
    $PHPReader = new PHPExcel_Reader_Excel2007();//如果new的是2007,那么excel必须是2007格式的
    $excel = $PHPReader->load($filePath);//引入文件
    $excelSheets = $excel->getAllSheets();
    $activeSheetNames = $excel->getSheetNames();
    foreach ($excelSheets as $SheetIndex => $activeSheet) {
        $sheetColumnTotal = $activeSheet->getHighestRow();
        if($sheetColumnTotal == 0){
            continue;
        }
        for($i = 2;$i < $sheetColumnTotal;$i++){
            $name = $activeSheet->getCell('A'.$i)->getValue();
            $phone = $activeSheet->getCell('B'.$i)->getValue();
        }
    }
    
    2022-12-01 10:36 回答
  • 异步任务队列

    2022-12-01 10:36 回答
  • 上传后生成任务记录,放到队列处理

    2022-12-01 10:36 回答
  • 如果需要处理的数据太多,建议写入一个队列,然后使用后台php—cli队列任务处理进程来异步处理吧。这个有点像我之前做的一个视频上传后加入队列,然后使用后台PHP—cli进程来异步处理视频转码过程的例子。

    2022-12-01 10:36 回答
  • 感谢各位关注,目前已改用Golang语句重写,15W条CSV记录,下载、解析、去重并导入Mongodb,大概50秒时间。

    2022-12-01 10:36 回答
  • 导入excel php原生处理很慢,可以采用PHP扩展xavxls https://git.oschina.net/xavie...
    原生读取excel速度和内存都一般都无法接受,你们在网站增加的接口,每个excel2-3W行,服务器就会卡死的,因为内存和CPU不足了。采用其他语言或者PHP的C扩展可以解决读取的问题,剩下的就是插入数据库的问题了。插入数据库可以分批批量插入

    2022-12-01 10:36 回答
撰写答案
今天,你开发时遇到什么问题呢?
立即提问
热门标签
PHP1.CN | 中国最专业的PHP中文社区 | PNG素材下载 | DevBox开发工具箱 | json解析格式化 |PHP资讯 | PHP教程 | 数据库技术 | 服务器技术 | 前端开发技术 | PHP框架 | 开发工具 | 在线工具
Copyright © 1998 - 2020 PHP1.CN. All Rights Reserved 京公网安备 11010802041100号 | 京ICP备19059560号-4 | PHP1.CN 第一PHP社区 版权所有