python3.8爬虫常用库_Python爬虫新手入门之初学lxml库

1.爬虫是什么

所谓爬虫&＃xff0c;就是按照一定的规则&＃xff0c;自动的从网络中抓取信息的程序或者脚本。万维网就像一个巨大的蜘蛛网&＃xff0c;我们的爬虫就是上面的一个蜘蛛&＃xff0c;不断的去抓取我们需要的信息。

2.爬虫三要素

抓取

分析

存储

3.爬虫的过程分析

当人类去访问一个网页时&＃xff0c;是如何进行的&＃xff1f;

①打开浏览器&＃xff0c;输入要访问的网址&＃xff0c;发起请求。

②等待服务器返回数据&＃xff0c;通过浏览器加载网页。

③从网页中找到自己需要的数据(文本、图片、文件等等)。

④保存自己需要的数据。

对于爬虫&＃xff0c;也是类似的。它模仿人类请求网页的过程&＃xff0c;但是又稍有不同。

首先&＃xff0c;对应于上面的①和②步骤&＃xff0c;我们要利用python实现请求一个网页的功能。

其次&＃xff0c;对应于上面的③步骤&＃xff0c;我们要利用python实现解析请求到的网页的功能。

最后&＃xff0c;对于上面的④步骤&＃xff0c;我们要利用python实现保存数据的功能。

因为是讲一个简单的爬虫嘛&＃xff0c;所以一些其他的复杂操作这里就不说了。下面&＃xff0c;针对上面几个功能&＃xff0c;逐一进行分析。

4.如何用python请求一个网页

作为一门拥有丰富类库的编程语言&＃xff0c;利用python请求网页完全不在话下。这里推荐一个非常好用的类库urllib.request。

4.1.抓取网页

urllib库使用

import urllib.request

response &＃61; urllib.request.urlopen("https://laoniu.blog.csdn.net/")

print(response.read().decode("utf-8"))

这样就可以抓取csdn我的主页的html文档

我们使用爬虫就是需要在网页中提取我们需要的数据&＃xff0c;接下来我们来学习抓取一下百度搜索页的热榜数据

4.2.如何解析网页呢

使用lxml库

lxml 是一种使用 Python 编写的库&＃xff0c;可以迅速、灵活地处理 XML 和 HTML。

它支持 XML Path Language (XPath) 和 Extensible Stylesheet Language Transformation (XSLT)&＃xff0c;并且实现了常见的 ElementTree API。

安装

windows下安装

#pip方式安装

pip3 install lxml

#wheel方式安装

#下载对应系统版本的wheel文件:http://www.lfd.uci.edu/~gohlke/pythonlibs/#lxml

pip3 install lxml-4.2.1-cp36-cp36m-win_amd64.whl

linux下安装

yum install -y epel-release libxslt-devel libxml2-devel openssl-devel

pip3 install lxml

环境/版本一览&＃xff1a;

开发工具&＃xff1a;PyCharm 2020.2.3

python&＃xff1a;3.8.5

4.3.编写代码

import urllib.request

from lxml import etree

# 获取百度热榜

url &＃61; "https://www.baidu.com/s?ie&＃61;UTF-8&wd&＃61;1"

# 我们在请求头加入User-Agent参数&＃xff0c;这样可以让服务端认为此次请求是用户通过浏览器发起的正常请求&＃xff0c;防止被识别为爬虫程序请求导致直接拒绝访问

req &＃61; urllib.request.Request(url&＃61;url, headers&＃61;{

"User-Agent": "User-Agent: Mozilla/5.0 (Macintosh; Intel Mac OS X 11_1_0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/87.0.4280.88 Safari/537.36"

})

# 发起请求

html_resp &＃61; urllib.request.urlopen(req).read().decode("utf-8")

到这里我们可以顺利获取百度的搜索页面html文档

我门需要看一下热搜排行榜的标签元素在哪里

找到第一条  右键复制 XPath   (后边说XPath是什么)

我们需要了解并使用XPath&＃xff0c;XPath即为XML路径语言(XML Path Language)&＃xff0c;它是一种用来确定XML文档中某部分位置的语言。

复制的内容结果是&＃xff1a; //*[&＃64;id&＃61;"con-ar"]/div[2]/div/div/table/tbody[1]/tr[1]

这xPath字符串 表示现在在html定位的位置就是热点新闻第一行内容

5.XPath常用规则

表达式

描述

nodename

选取此节点的所有子节点

/

从当前节点选取直接子节点

//

从当前节点选取子孙节点

.

选取当前节点

..

选取当前节点的父节点

&＃64;

选取属性

*

通配符&＃xff0c;选择所有元素节点与元素名

&＃64;*

选取所有属性

[&＃64;attrib]

选取具有给定属性的所有元素

[&＃64;attrib&＃61;"value"]

选取给定属性具有给定值的所有元素

[tag]

选取所有具有指定元素的直接子节点

[tag&＃61;"text"]

选取所有具有指定元素并且文本内容是text节点

6.继续分析

那么我们要获取所有的热点新闻该怎么写呢

继续看网页

可以看到所有的热榜分别在三个

修改一下刚才复制的XPath

//*[&＃64;id&＃61;"con-ar"]/div[2]/div/div/table/tbody[1]/tr[1] 改为 //*[&＃64;id&＃61;"con-ar"]/div[2]/div/div/table/tbody/tr

这样XPath就会定位到这三个tbody下的所有tr元素内容

我们继续看一下tr是不是我们想要的内容&＃xff0c;展开一个tr看看

淦&＃xff5e;还有一堆,,

这该怎么办。我们需要拿到数据是 【标题】 【访问链接】 【热度】&＃xff0c;现在手里已经拿到的是所有的tr元素

紧接着从tr下手 直接 拿到下面所有标签的标题与超链接

标题的XPath: */a/&＃64;title超链接的XPath: */a/&＃64;href

*表示匹配tr下的所有元素  /a是在*找到第一个a标签  &＃64;是属性选择器 title和href就是要选择的素属性了

还剩下个热度&＃xff0c;let‘s me 继续操作&＃xff0c;直接选择tr下的第二个td  XPath: td[2]

分析完毕&＃xff0c;把完整的代码贴出来

import urllib.request

from lxml import etree

# 获取百度热榜

url &＃61; "https://www.baidu.com/s?ie&＃61;UTF-8&wd&＃61;1"

# 我们在请求头加入User-Agent参数&＃xff0c;这样可以让服务端认为此次请求是用户通过浏览器发起的正常请求&＃xff0c;防止被识别为爬虫程序请求导致直接拒绝访问

req &＃61; urllib.request.Request(url&＃61;url, headers&＃61;{

"User-Agent": "User-Agent: Mozilla/5.0 (Macintosh; Intel Mac OS X 11_1_0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/87.0.4280.88 Safari/537.36"

})

html_resp &＃61; urllib.request.urlopen(req).read().decode("utf-8")

html &＃61; etree.HTML(html_resp)#初始化生成一个XPath解析对象

_list &＃61; html.xpath("//*[&＃64;id&＃61;"con-ar"]/div[2]/div/div/table/tbody/tr")

print(f"article count : {len(_list)}")

for tr in _list:

title &＃61; tr.xpath("*/a/&＃64;title")[0]

href &＃61; tr.xpath("*/a/&＃64;href")[0]

hot &＃61; tr.xpath("string(td[2])").strip()

print(f"{hot}{title}https://www.baidu.com{href}")

点击运行&＃xff0c;程序啪就跑起来了&＃xff0c;很快啊&＃xff0c;数据全都过来了&＃xff0c;我全都接住了&＃xff0c;我笑了一下。

到此就完成了lxml xpath的基本使用&＃xff0c;更详细的xpath教程请看 &＃xff1a;https://www.w3school.com.cn/xpath/index.asp

爬虫三要素&＃xff0c;抓取数据完成了&＃xff0c;剩余的分析与存储就先不说了

总结

到此这篇关于Python爬虫新手入门之初学lxml库的文章就介绍到这了,更多相关Python爬虫入门之lxml库内容请搜索云海天教程以前的文章或继续浏览下面的相关文章希望大家以后多多支持云海天教程&＃xff01;