使用正则表达式爬取36Kr网站首页新闻的操作步骤和代码示例

获取https://36kr.com/网站首页所有的新闻

操作步骤&＃xff1a; 

 1、访问本网站,使用手机方式|检查&＃xff0c;需要ctrl&＃43;F查找你新闻的关键词语

2、找到之后&＃xff0c;你可以查看是在 &＃xff0c;有key:value

3、 编写代码&＃xff0c;获取数据

import re
import requests
import json#头部
headers&＃61;{"userAgent":"Mozilla/5.0 (Linux; Android 6.0; Nexus 5 Build/MRA58N) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/85.0.4183.102 Mobile Safari/537.36"}#URL路径
url&＃61;"https://36kr.com/"
response &＃61; requests.get(url,headers&＃61;headers)
str &＃61; response.content.decode()
# print(str)#查找,使用正在表达式->取数组的第一个
result&＃61;re.findall("",str)[0]
# print(result)#先写入到本地&＃xff0c;再查看
with open("36kr.json","w",encoding&＃61;"utf-8") as f:f.write(result)#加载json转换成python类型
json.loads(result)
print(result)

4、可以先写入到本地上&＃xff0c;再通过这个方式来查找是哪里有问题&＃xff1f; 

注意&＃xff1a; 往一个文件中写入多个json串&＃xff0c;不再是一个json串&＃xff0c;不能直接读取

          一行写一个json串&＃xff0c;按照行来读取

5、效果&＃xff1a;