爬虫1.1-基础知识：学习使用requests库

目录

• 爬虫-基础知识+requests库
  • 1. 状态返回码
  • 2. URL各个字段解释
  • 2. requests库
  • 3. requests库爬虫的基本流程

爬虫-基础知识+requests库

关于html的知识，可以到w3school中进行了解学习。http://www.w3school.com.cn/html/index.asp，水平有限，这里不多提及。

1. 状态返回码

标志这这一次的请求状态，成功或失败，失败原因大概是什么

200：请求正常，服务器正常返回数据。 不代表爬去到正确信息了
301：永久重定向，比如访问www.jingdong.com 会重定向到www.jd.com
302：临时重定向，比如访问一个需要登陆的网站时，因为没有登陆会重定向到登陆页面
400：请求的url在服务器上找不到。url错误
403：服务器拒绝，权限不够
500：服务器内部错误，服务器出现bug

2. URL各个字段解释

URL：scheme://host:port/path/?query-string=xxx#anchor
scheme: 代表的是访问的协议，http https ftp...
host:主机名，域名，baidu.com
port：端口号，一般浏览器默认80
path：查询路径，文件在服务器中的位置
query-string：查询字符串，例如www.baidu.com/s?wd=python
anchor：锚点，前端用于给关键词定位的

示例

https://www.baidu.com/s?ie=UTF-8&wd=python

https://baike.baidu.com/item/html标签/6999473?fr=aladdin#2

2. requests库

requests库是python中一个非常强大的网络请求库，常用来写一些小爬虫、

浏览器抓包：使用谷歌浏览器，按F12点击Network，再按F5刷新页面即可抓包查看请求头(Requst Headers)和

表单(Form Data)数据，拷贝到自己的代码中即可防止被服务器发现一个爬虫。

get请求：

import requests
respOnse= requests.get(url, headers=headers)
print(response.content.decode('utf-8')) 
# 网页编码不全都是utf-8格式，也有可能是gbk，可以在浏览器中右键查看网页源代码，一般在最开头几行有标识 utf-8或则gb2313
# headers配置件下方代码块。

headers 是需要构建的请求头字典,配置见下方代码块。
网页源代码：response.content.decode('utf-8') 最好自己解码， temp.text自动解码，但可能出错
其他属性response.encoding响应头编码 response.status_code查看响应码 response.url 查看url

post请求：

import requests
data = {
    'username': 'xxx',
    'password': 'xx',
    'random': 'xxxx',
}
headers = {
    'COOKIE': "xxx",
    'Referer': 'xx',
    'User-Agent': 'xxxx'
}
respOnse= requests.post(url, data=data, headers=headers)

其中url应该是可以接受post请求的url

data是提交的表单，需要在浏览器中先检查好格式，然后在代码中模仿

headers是请求头，为字典形式，一般需要加入'User-Agent' 'COOKIE' 'Referer'字段，这几个字段的知识百度即可，注意headers通常都是需要添加的，如果没有添加，很可能被识别为爬虫，从而被服务器拒绝访问。

代理：

proxy = {'http':'ip:port'}
temp = requests.get(url, headers=headers, params=params, proxies=proxy) 

从参数来看似乎可以加入多个代理ip，内部有自动处理方法

会话：
s = requests.Session() 创建会话类
s.post/get (url1,xxx) 成功后会保存COOKIE等信息 然后再访问其他网页即可
s.get(url2)

处理HTTPS协议时，证书不被信任，直接request.get(url, verify=False)

更多实战代码，请查看其他笔记。

3. requests库爬虫的基本流程

前面提到requests库适用于小爬虫，对于整站爬取这种工作是不适宜的，原因在于url防重控制和异步问题。

3.1 爬虫框架

第一步，分析需要爬取页面的规则，例如爬取拉勾网搜索python关键词之后的全部岗位，拉勾网先给出一个职位简介列表，点击没一个简介即可进入每个职位的详情页，而我们的爬虫正是需要解析这些详情页里面的内容。根据浏览器的user-agent, COOKIE, referer等字段伪造请求头。

第二步，分析url变化规则，例如boss直聘网的python职位列表变化在于page=x，所以只要在代码中加入

for x in (1, max+1) ，就可以遍历所有的列表，在其中取得详情页的url，其中max为网站中给出的最大值。

https://www.zhipin.com/c101270100/?query=python&page=4

第三步，使用xpath或者正则，在列表页中提取出详情页的url并访问，利用xpath或者正则表达式提取想要的信息

第四步，将信息存储（json, csv, txt等）

3.2 一个样例代码

# 古诗文网爬虫，正则表达式提取信息

import re
import csv
import requests


# 头部
HEADERS = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.100 Safari/537.36',
    'COOKIE': 'sec_tc=AQAAAOnYGRKNjAwAc6jZqzitZLqPPmaN; Hm_lvt_04660099568f561a75456483228a9516=1543214277; ASP.NET_SessiOnId=q2b21uwthctq4aad0vbc5x5e; Hm_lpvt_04660099568f561a75456483228a9516=1543214320',
    'referer': 'https://www.gushiwen.org/default_1.aspx',
}

# 处理页面信息的函数
def parse_page(url):
    global data  # data是列表，用于存储每篇古诗字典
    respOnse= requests.get(url, headers=HEADERS)
    response_text = response.text
    # 四个正则表达式 选中大范围再缩小范围，   .*?作用是非贪婪模式 获取两个标签之间的所有内容
    titles = re.findall(r'.*?(.*?)', response_text,re.DOTALL)
    dynasties = re.findall(r'
.*?(.*?)', response_text)
    authors = re.findall(r'：.*?(.*?)', response_text)
    cOntens= re.findall(r'
(.*?)
', response_text, re.DOTALL)
    poeminfo = {}
    for i in contens:
        contens[contens.index(i)] = re.sub(r'<.*?>', "", i).strip()  # .strip()函数用于去除\n 空格等

    # zip函数是将多个列表依次打包，[1,2] [3,4]会被组合成(1,3) (2,4)
    for value in zip(titles, dynasties, authors, contens,):
        title, dynasty, author, cOntent= value  # 这里相当于解包并对应取值
        poeminfo = {
            'title': title,
            'dynasty': dynasty,
            'author': author,
            'content': content
        }
        data.append(poeminfo)  # 存入列表


def get_url():
    url_list = []
    base_url = 'https://www.gushiwen.org/default_{}.aspx'
    for i in range(1, 100):
        url = base_url.format(i)
        url_list.append(url)
    return url_list


def csv_write(data):
    # 构造头部
    csv_headers = ['title', 'dynasty', 'author', 'content']
    with open('gushici.csv', 'w', encoding='utf-8', newline='') as fp:
        writer = csv.DictWriter(fp, csv_headers)
        writer.writeheader()
        writer.writerows(data)
        fp.close()


if __name__ == '__main__':
    data = []
    list = get_url()
    for url in list:
        parse_page(url)
        for i in data:
            print(i)
        print("=" * 50)
        print(url)
        print("=" * 50)
    csv_write(data) # 将获取的数据写入csv文件