【爬虫】python爬虫简单样例（requests+beautifulsoup4+lxml）

1.环境准备（按以下顺序安装，不然lxml很容易失败，切记！！！）：

默认pycharm、python3、pip等基础环境已具备，以下为推荐的第三方库安装：
a. pip3 install requests
b. pip install lxml
c. pip install beautifulsoup4
一次性安装成功：

2.爬虫代码-获取网页（requests）

import requests
#获取网页
baidu=requests.get('https://www.baidu.com')
print(baidu) #打印请求状态，200为成功
print(baidu.content) #打印网页源码


获取结果：

3.爬虫代码-解析网页（beautifulsoup4+lxml）

import requests
from bs4 import BeautifulSoup
import lxml
baidu=requests.get('https://www.baidu.com') #请求百度首页
bdxml=BeautifulSoup(baidu.content,'lxml') #将获取到的网页构造成BeautifulSoup对象，方便操作
print(bdxml.find_all('title'))#提取title标签
alist=bdxml.find_all('a') #提取所有的a标签（用于获取超链接）
for a in alist:
print(a.get('href')) #打印a标签的超链接


结果：

其他：

根据想要的数据分析需要提取的标签，然后提取数据；
同时每个网络包含了很多URL，可递归深度爬取