python爬虫岗位招聘_Python爬虫系列2抓取拉钩网2020年最新互联网岗位招聘信息

序言

2019年即将逝去&＃xff0c;转眼即将迎来2020年&＃xff0c;一个全新的十年&＃xff0c;一个互联网全新的时代&＃xff1a;物联网时代&＃xff0c;古语云&＃xff1a;十年磨一剑&＃xff0c;古时候烽火传递、飞鸽传书&＃xff0c;交流信息很不方便。古人就幻想着有千里眼和顺风耳。能看到千里之外的地方和听到很远地方的声音。从2000年至2010年这十年&＃xff0c;古人的愿望变成了现实&＃xff1b;我们见证了全智能手机的发展历程&＃xff1b;以及2010年至2020年的移动互联网从早期的2G网络过渡至3G到现在的4G网络甚至到目前已经慢慢普及但尚未成熟的5G网络的发展历程&＃xff1b;我们也坚信未来的万物互联距离现如今的我们也并不是一件很遥远的事情。

今天抓取这个文章也是来源于我的一个学员&＃xff0c;在帮助解决之后&＃xff0c;顺变写成我的第二篇博客供大家学习使用。如果本文对你有些帮助-还请点赞&＃x1f44d;关注&＃xff01;将持续更新更多新的文章。

image

- 实战

分析网站结构&＃xff0c;确定我们要抓取的数据内容

通过 Chrome 浏览器右键检查查看 network 并对网站结构进行分析发现我们在 ajax 请求界面中&＃xff0c;可以看到这些返回的数据正是网站页面中Python岗位招聘的详情信息。

[图片上传失败...(image-c04b3f-1600501598132)]

之后我们在查看headers的时候发现该网站请求的方式是Post请求&＃xff0c;也就是说在请求的过程中需要携带Form Data数据&＃xff0c;这一块在第一篇博客中也分析过,甚至请求的是另一种Post携带方式。

image

在多次对网页界面进行分析评测的时候&＃xff0c;发现在点击第二页的时候Form Data的携带格式发生了变化。可以看到 pn&＃61;2 肯定是咱们的当前的页数。

image

第一步&＃xff1a;不管三七二十一 &＃xff0c;先请求拿到数据在说

import requests

url &＃61; &＃39;https://www.lagou.com/jobs/positionAjax.json?needAddtionalResult&＃61;false&＃39;

# 发送携带的数据

form_data &＃61; {

&＃39;first&＃39;: &＃39;false&＃39;,

&＃39;pn&＃39;: 2,

&＃39;kd&＃39;: &＃39;python&＃39;,

}

result&＃61;requests.post(url,data&＃61;form_data).text

print(result)

OUT:

{"status":false,"msg":"您操作太频繁,请稍后再访问","clientIp":"113.246.154.37","state":2408}

在直接请求界面的时候我们发现网站有反爬机制&＃xff0c;不让我们请求《"msg":"您操作太频繁,请稍后再访问"》&＃xff0c;我们携带请求头伪装一下&＃xff0c;不行

image

这里我用了一种可以快速生成headers以及COOKIE的工具&＃xff1a;https://curl.trillworks.com/ 用法如下&＃xff1a;

image

image

我怀疑该网站具有多重反爬策略&＃xff0c;当我在次添加COOKIEs试一下的时候&＃xff1b;我们发现数据可以正常获取了&＃xff1b;难道就这么简单就解决拉勾网数据获取的问题了吗&＃xff1f;然而机智的我察觉到事情并没有想像的那么简单&＃xff1b;

image

我的最终解决方案是共用 session&＃xff0c;就是说我们在每次请求界面的时候先获取session然后原地更新我们的session之后在进行数据的抓取&＃xff0c;最后拿到想要的数据。

image

第二步&＃xff1a;对数据进行分解

import requests

import time

# 第一步 &＃xff1a; 请求数据

def get_requests_data(url, form_data):

# 伪装浏览器

headers &＃61; {

&＃39;Origin&＃39;: &＃39;https://www.lagou.com&＃39;,

&＃39;X-Anit-Forge-Code&＃39;: &＃39;0&＃39;,

&＃39;Accept-Encoding&＃39;: &＃39;gzip, deflate, br&＃39;,

&＃39;Accept-Language&＃39;: &＃39;zh-CN,zh;q&＃61;0.9&＃39;,

&＃39;User-Agent&＃39;: &＃39;Mozilla/5.0 (Macintosh; Intel Mac OS X 10_14_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/74.0.3729.131 Safari/537.36&＃39;,

&＃39;Content-Type&＃39;: &＃39;application/x-www-form-urlencoded; charset&＃61;UTF-8&＃39;,

&＃39;Accept&＃39;: &＃39;application/json, text/Javascript, */*; q&＃61;0.01&＃39;,

&＃39;X-Requested-With&＃39;: &＃39;XMLHttpRequest&＃39;,

&＃39;Connection&＃39;: &＃39;keep-alive&＃39;,

&＃39;X-Anit-Forge-Token&＃39;: &＃39;None&＃39;,

}

time.sleep(3)

# 获取session

session_data &＃61; requests.session()

# 更新

session_data.headers.update(headers)

session_data.get("https://www.lagou.com/jobs/list_Python?px&＃61;new&city&＃61;%E5%85%A8%E5%9B%BD")

# 使用session发送post请求获取url及携带的参数保存到本地session中。

content &＃61; session_data.post(url&＃61;url, data&＃61;form_data)

result_data_list &＃61; result[&＃39;content&＃39;][&＃39;positionResult&＃39;][&＃39;result&＃39;]

for item_data in result_data_list:

list_data &＃61; []

list_data.append(item_data[&＃39;city&＃39;]) # 岗位对应城市

list_data.append(item_data[&＃39;companyFullName&＃39;]) # 公司全名

list_data.append(item_data[&＃39;companyLabelList&＃39;]) # 福利待遇

list_data.append(item_data[&＃39;district&＃39;]) # 工作地点

list_data.append(item_data[&＃39;education&＃39;]) # 学历要求

list_data.append(item_data[&＃39;formatCreateTime&＃39;]) # 发布时间

list_data.append(item_data[&＃39;positionName&＃39;]) # 职位名称

list_data.append(item_data[&＃39;salary&＃39;]) # 薪资

return list_data

if __name__ &＃61;&＃61; &＃39;__main__&＃39;:

url &＃61; &＃39;https://www.lagou.com/jobs/positionAjax.json?needAddtionalResult&＃61;false&＃39;

# 发送携带的数据

form_data &＃61; {

&＃39;first&＃39;: &＃39;false&＃39;,

&＃39;pn&＃39;: 2,

&＃39;kd&＃39;: &＃39;python&＃39;,

}

info_list&＃61;get_requests_data(url, form_data)

print(info_list)

运行结果&＃xff1a;

image

第三步&＃xff1a;对解析数据进行存储

这里通过 excel 表格的形式进行存储&＃xff1b;

需要 pip install xlwt 安装一下 xlwt 库.

import xlwt

info_result &＃61; []

title &＃61; [&＃39;城市&＃39;, &＃39;公司名称&＃39;, &＃39;福利待遇&＃39;, &＃39;工作地点&＃39;, &＃39;学历要求&＃39;, &＃39;发布时间&＃39;, &＃39;职位名称&＃39;, &＃39;薪资&＃39;]

info_result.append(title)

# 获取请求返回数据

info_list&＃61;get_requests_data(url, form_data)

# 创建workbook,即excel

workbook &＃61; xlwt.Workbook(encoding&＃61;&＃39;utf-8&＃39;)

worksheet &＃61; workbook.add_sheet(&＃39;lg_lagou&＃39;, cell_overwrite_ok&＃61;True)

# 遍历 枚举

for item, title_data in enumerate(info_list):

for item_data, content_data in enumerate(title_data):

worksheet.write(item, item_data, content_data)

workbook.save(&＃39;lg_lagou.xls&＃39;)

最终显示数据内容

image

在这个浮躁的时代&＃xff1b;竟然还有人能坚持篇篇原创&＃xff1b;

如果本文对你学习有所帮助-可以点赞&＃x1f44d;&＃43; 关注&＃xff01;将持续更新更多新的文章。

支持原创。感谢&＃xff01;