scrapyd部署

1. pip install scrapyd

    验证是否安装成功&＃xff1a;

    cmd&＃xff1a; scrapyd

    浏览器&＃xff1a; 127.0.0.1:6800

    部署爬虫时cmd要一直执行着scrapyd&＃xff0c;否则会导致浏览器无法访问和部署时网络拒绝

2. pip install scrapyd-client

    2.1. python\Scripts\   目录下新建scrapyd-deploy.bat文件&＃xff0c;内容如下&＃xff1a;

    &＃64;echo off
    F:\python\python.exe F:\python\Scripts\scrapyd-deploy %*

    验证是否安装成功&＃xff1a;

    进入爬虫项目带scrapy.cfg文件的目录&＃xff0c;cmd执行scrapyd-deploy&＃xff0c;出现&＃xff1a;

    Unknown target: default   即代表成功

3. 打开scrapy.cfg&＃xff0c;url行解除注释&＃xff0c;并设置部署名称&＃xff1a;

    [deploy:lagou]
    url &＃61; http://localhost:6800/
    project &＃61; lagou_spider

    验证是否成功&＃xff1a;

    目录下执行&＃xff1a;scrapyd-deploy -l &＃xff0c;可以看到设置的名称

4 .把scrapy项目打包上传部署到scrapyd服务端&＃xff1a;

    命令&＃xff1a; scrapyd-deploy 部署名称 -p 项目名称

    scrapyd-deploy lagou -p lagou_spider   提示如下代表成功&＃xff0c;如网络拒绝访问&＃xff0c;是没开scrapyd&＃xff0c;cmd执行即可

Packing version 1538714880
Deploying to project "lagou_spider" in http://localhost:6800/addversion.json
Server response (200):
{"node_name": "DESKTOP-KT5UTV0", "status": "ok", "project": "lagou_spider", "version": "1538714880", "spiders": 1}

5 .安装curl&＃xff0c;开始爬取&＃xff1a;

    5.1 https://curl.haxx.se/download.html 下载最新的即可

    5.2 下载后解压到一个目录中

    5.3 把该目录添加到环境变量path中

    验证是否成功&＃xff1a;

    cmd中执行&＃xff1a; curl --help

6. curl命令&＃xff1a;

    开始爬取&＃xff1a;curl http://localhost:6800/schedule.json -d project&＃61;项目名称 -d spider&＃61;爬虫名称

    curl http://localhost:6800/schedule.json -d project&＃61;lagou_spider -d spider&＃61;lagou     提示如下代表成功&＃xff1a;

{"node_name": "DESKTOP-KT5UTV0", "status": "ok","jobid":"dcb0a8ccc85411e891fd201a06947bdb"}

    停止爬取&＃xff1a;

    curl http://localhost:6800/cancel.json -d project&＃61;项目名称 -d job&＃61;jobid

    删除爬虫&＃xff1a;

    curl http://localhost:6800/delproject.json-d project&＃61;项目名称

    scrapyd中有多少项目&＃xff1a;

    curl http://localhost:6800/listprojects.json

    显示指定scrapy项目中有多少爬虫&＃xff1a;

    curl http://localhost:6800/listspiders.json?project&＃61;项目名称