作者:极神bd韵 | 来源:互联网 | 2022-12-09 01:35
如您在下面的示例代码中所看到的,我将Puppeteer与Node中的一组工作人员一起使用,以通过给定的URL运行多个网站截图请求:
const cluster = require('cluster');
const express = require('express');
const bodyParser = require('body-parser');
const puppeteer = require('puppeteer');
async function getScreenshot(domain) {
let screenshot;
const browser = await puppeteer.launch({ args: ['--no-sandbox', '--disable-setuid-sandbox', '--disable-dev-shm-usage'] });
const page = await browser.newPage();
try {
await page.goto('http://' + domain + '/', { timeout: 60000, waitUntil: 'networkidle2' });
} catch (error) {
try {
await page.goto('http://' + domain + '/', { timeout: 120000, waitUntil: 'networkidle2' });
screenshot = await page.screenshot({ type: 'png', encoding: 'base64' });
} catch (error) {
console.error('Connecting to: ' + domain + ' failed due to: ' + error);
}
await page.close();
await browser.close();
return screenshot;
}
if (cluster.isMaster) {
const numOfWorkers = require('os').cpus().length;
for (let worker = 0; worker {
const domain = req.body.domain;
getScreenshot(domain)
.then((screenshot) =>
try {
process.send({ domain: domain });
} catch (error) {
console.error('Error while exiting worker ' + process.pid + ' due to: ' + error);
}
res.status(200).json({ screenshot: screenshot });
})
.catch((error) => {
try {
process.send({ domain: domain });
} catch (error) {
console.error('Error while exiting worker ' + process.pid + ' due to: ' + error);
}
res.status(500).json({ error: error });
});
});
}
一些解释:
每次请求到达时,工作人员都会对其进行处理并最终杀死自己
每个工作程序都使用一个页面创建一个新的浏览器实例,如果页面加载时间超过60秒,它将重试重新加载它(在同一页面中,因为可能已经加载了某些资源),超时时间为120秒
完成后,页面和浏览器都将关闭
我的问题是某些合法域会收到我无法解释的错误:
Error: Protocol error (Page.navigate): Target closed.
Error: Protocol error (Runtime.callFunctionOn): Session closed. Most likely the page has been closed.
我读到某个git问题(我现在找不到),它会在页面重定向并在开始时添加“ www”时发生,但是我希望它是错误的……我缺少什么吗?
1> Thomas Dondo..:
“关闭目标”的含义
当您通过puppeteer.launch
它启动浏览器时,将启动浏览器并连接到它。从那里开始,您在打开的浏览器中执行的所有功能(例如page.goto
)都将通过Chrome DevTools协议发送到浏览器。在此上下文中,目标表示选项卡。
该目标闭合,当你正在尝试运行的功能异常被抛出,但目标(标签)已经关闭。
类似错误消息
该错误消息最近已更改为提供更多有意义的信息。现在,它显示以下消息:
错误:协议错误(Target.activateTarget):会话关闭。该页面很可能已关闭。
为什么会发生
发生这种情况的原因有多种。
您使用了已经关闭的资源
您最有可能看到此消息,因为您关闭了选项卡/浏览器,并且仍在尝试使用资源。举一个简单的例子:
const browser = await puppeteer.launch();
const page = await browser.newPage();
await browser.close();
await page.goto('http://www.google.com');
在这种情况下,浏览器已关闭,此后,page.goto
调用,导致错误消息。大多数时候,情况不会那么明显。在脚本仍在爬网的过程中,也许错误处理程序已在清理任务期间关闭了页面。
浏览器崩溃或无法初始化
每隔几百个请求,我也会遇到一次。在操纵up存储库中也存在与此相关的问题。当您使用大量内存或CPU电源时,情况似乎确实如此。也许您产生了很多浏览器?在这些情况下,浏览器可能会崩溃或断开连接。
我没有找到解决此问题的“灵丹妙药”解决方案。但是您可能想查看库puppeteer-cluster(免责声明:我是作者),该库处理此类错误情况,让您在发生错误时重试URL。它还可以管理浏览器实例池,并且还可以简化代码。