在芹菜任务中运行Scrapy蜘蛛

这不再适用了,scrapy的API已经改变了.

现在文档的功能是" 从脚本运行Scrapy "但我得到ReactorNotRestartable错误.

我的任务:

from celery import Task

from twisted.internet import reactor

from scrapy.crawler import Crawler
from scrapy import log, signals
from scrapy.utils.project import get_project_settings

from .spiders import MySpider



class MyTask(Task):
    def run(self, *args, **kwargs):
        spider = MySpider
        settings = get_project_settings()
        crawler = Crawler(settings)
        crawler.signals.connect(reactor.stop, signal=signals.spider_closed)
        crawler.configure()
        crawler.crawl(spider)
        crawler.start()

        log.start()
        reactor.run()

Bj Blazkowic.. 36

扭曲的反应堆无法重新启动.解决此问题的方法是让celery任务为您要执行的每个爬网创建一个新的子进程,如以下帖子中所建议的:

在Celery任务中运行Scrapy蜘蛛

通过利用多处理包,这解决了"反应堆无法重启的问题".但问题是现在使用最新的celery版本已经过时了解决方法,因为您将遇到另一个问题,即守护进程无法生成子进程.因此,为了使解决方法工作,您需要了解芹菜版本.

是的,scrapy API已经改变了.但稍作修改(导入Crawler而不是CrawlerProcess).您可以通过芹菜版本来获得解决方法.

芹菜问题可以在这里找到: 芹菜问题#1709

这是我更新的爬行脚本,它使用台球而不是多处理来处理新的芹菜版本:

from scrapy.crawler import Crawler
from scrapy.conf import settings
from myspider import MySpider
from scrapy import log, project
from twisted.internet import reactor
from billiard import Process
from scrapy.utils.project import get_project_settings

class UrlCrawlerScript(Process):
    def __init__(self, spider):
        Process.__init__(self)
        settings = get_project_settings()
        self.crawler = Crawler(settings)
        self.crawler.configure()
        self.crawler.signals.connect(reactor.stop, signal=signals.spider_closed)
        self.spider = spider

    def run(self):
        self.crawler.crawl(self.spider)
        self.crawler.start()
        reactor.run()

def run_spider(url):
    spider = MySpider(url)
    crawler = UrlCrawlerScript(spider)
    crawler.start()
    crawler.join()

CELERYD_MAX_TASKS_PER_CHILD = 1