【学习—Scrapy1】日常操作

日常操作
    1、创建：scrapy startproject pac（项目名称）
    2、创建一个爬虫： scrapy genspider qsbk "qiushibaike.com"（名字）(要爬取地址)

    3、设置：settings> >
    ROBOTSTXT_OBEY = False

    DOWNLOAD_DELAY = 3
    DEFAULT_REQUEST_HEADERS = { &＃39;User-Agent&＃39;:&＃39;Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.132 Safari/537.36&＃39;
}

#存储内容
    ITEM_PIPELINES = {
   &＃39;pac.pipelines.PacPipeline&＃39;: 300,
}
    DOWNLOAD_DELAY = 1    --下载延迟

------中间件（写反爬虫class=A）

DOWNLOADER_MIDDLEWARES = {
   &＃39;fangz.middlewares.A&＃39;: 543,
}
 

    4、设置：

》》文件

（1）contains（）----包含

lis = response.xpath("//div[contains(@class,&＃39;nl_con&＃39;)]/ul/li")

(2)yield scrapy.Request(url,callback,meta)

def parse_page1(self, response):a = 你好b= 不好url = "www.example....."yield scrapy.Request(url,callback=self.parse_page2,meta={&＃39;item&＃39;:（a,b）})def parse_page2(self, response):item = response.meta.get(&＃39;item&＃39;)#爬取内容lis = response.xpath("//div[contains(@class,&＃39;nl_con&＃39;)]/ul/li")

yield scrapy.Request(url,callback=self.parse_esf,meta={"info":(province,city)})#2手房

(self,response):

5、文件

》》pipelines-->数据存储

------------部署服务器----

1cmd  :pip freeze  > requirements.txt

多个txt,文件里面包括需要下载的附件

2，发送给服务器：rz --选中txt包

3，pip install -r requirements.txt

-------------创建虚拟环境 pip install virtualenwrapper-----

1,mkvirtualenv -p /usr/bin/python3 minzi :创建p3，名：minzi  虚拟环境

2，pip install -r requirements.txt

----------redis 分布式开发-----

1，安-装 ：pip install scrapy-redis

》pac.py:

from scrapy_redis.spiders import RedisSpider

具体https://www.cnblogs.com/zhangyangcheng/articles/8150483.html