问

mysql - php写的爬虫报内存不足

没有结局的梦z最痛发布于 2022-11-18 22:34

php

具体的场景：php从网站列表上抓取数据，然后直接插入mysql数据库，使用cli模式运行，一次可能要插入上万条数据
我之前的代码是这样的：

ini_set('memory_limit', '512M');
$con = mysqli_connect(''');
for(...) {
//爬虫抓取代码省略
mysqli_query($con,'抓取后生成的insert语句');
}

这样差不多半天就会报Allowed memory size of 536870912 bytes exhausted (tried to allocate 1542571 bytes)
PS：如果不执行mysql插入操作，而直接将sql语句file_put_contents到一个文件中，那是不会报错的，所以排除爬虫代码的问题

现在我把mysql的插入语句封装成一个方法：

function execute($query)
{
    $mysqli = new mysqli(...);
    $mysqli->query('set names utf8mb4');
    $mysqli->query($query);
    $mysqli->close();
}

不知道还会不会发生这个问题呢？
各位有什么好办法么？

3 个回答

之前做个一个类似的功能，规模是大几十万条
我是用的web方式去执行，在for{}中判断一个条件，比如达到万条后跳转回本页面，把n*10000这个参数传过去。

2022-11-18 23:15 回答

儒志楼

数据库插入操作改为批量提交方式

$sql = array(); 
foreach( $data as $row ) {
    $sql[] = '("'.mysql_real_escape_string($row['text']).'", '.$row['category_id'].')';
}
mysql_query('INSERT INTO table (text, category) VALUES '.implode(',', $sql));

2022-11-18 23:15 回答

tanhuixi135_414

你目前的做法是上万次插入上万条数据，而不是一次插入上万条数据。
From

INSERT INTO tbl_name (a,b,c) VALUES (1,2,3);
INSERT INTO tbl_name (a,b,c) VALUES (4,5,6);
INSERT INTO tbl_name (a,b,c) VALUES (7,8,9);

INSERT INTO tbl_name
    (a,b,c)
VALUES
    (1,2,3),
    (4,5,6),
    (7,8,9);

2022-11-18 23:15 回答

饱和深潜者_463

撰写答案

今天，你开发时遇到什么问题呢？

立即提问

热门标签