python2爬虫_爬虫5_python2_使用BeautifulSoup解析数据

使用 Beautiful Soup 解析数据(感谢东哥)

有的小伙伴们对写正则表达式的写法用得不熟练&＃xff0c;没关系&＃xff0c;我们还有一个更强大的工具&＃xff0c;叫Beautiful Soup&＃xff0c;有了它我们可以很方便地提取出HTML或XML标签中的内容&＃xff0c;实在是方便&＃xff0c;这一节就让我们一起来感受一下Beautiful Soup的魅力

1. Beautiful Soup的简介

简单来说&＃xff0c;Beautiful Soup是python的一个库&＃xff0c;最主要的功能是从网页抓取数据。官方解释如下&＃xff1a;

Beautiful Soup提供一些简单的、python式的函数用来处理导航、搜索、修改分析树等功能。它是一个工具箱&＃xff0c;通过解析文档为用户提供需要抓取的数据&＃xff0c;因为简单&＃xff0c;所以不需要多少代码就可以写出一个完整的应用程序。 Beautiful Soup自动将输入文档转换为Unicode编码&＃xff0c;输出文档转换为utf-8编码。你不需要考虑编码方式&＃xff0c;除非文档没有指定一个编码方式&＃xff0c;这时&＃xff0c;Beautiful Soup就不能自动识别编码方式了。然后&＃xff0c;你仅仅需要说明一下原始编码方式就可以了。 Beautiful Soup已成为和lxml、html6lib一样出色的python解释器&＃xff0c;为用户灵活地提供不同的解析策略或强劲的速度。

2. 安装

下载地址:https://pypi.python.org/pypi/beautifulsoup4/4.3.2

官方文档&＃xff1a;http://beautifulsoup.readthedocs.org/zh_CN/latest

3. 使用

from bs4 import BeautifulSoup

我们创建一个字符串&＃xff0c;后面的例子我们便会用它来演示

html &＃61; """

The Dormouse&＃39;s story

Once upon a time there were three little sisters; and their names were

,

Lacie and

Tillie;

and they lived at the bottom of a well.

...

"""

创建 beautifulsoup 对象

soup &＃61; BeautifulSoup(html)

下面我们来打印一下 soup 对象的内容&＃xff0c;格式化输出

print soup.prettify()

3.1 找标签

直接打印标签

print soup.title

#

print soup.head

#

print soup.a

#

print soup.p

#

The Dormouse&＃39;s story

我们可以利用 soup加标签名轻松地获取这些标签的内容&＃xff0c;是不是感觉比正则表达式方便多了&＃xff1f;不过有一点是&＃xff0c;它查找的是在所有内容中的第一个符合要求的标签

对于标签&＃xff0c;它有两个重要的属性&＃xff0c;是 name 和 attrs&＃xff0c;下面我们分别来感受一下

print soup.name

print soup.head.name

#[document]

#head

soup 对象本身比较特殊&＃xff0c;它的 name 即为 [document]&＃xff0c;对于其他内部标签&＃xff0c;输出的值便为标签本身的名称

print soup.p.attrs

#{&＃39;class&＃39;: [&＃39;title&＃39;], &＃39;name&＃39;: &＃39;dromouse&＃39;}

在这里&＃xff0c;我们把 p 标签的所有属性打印输出了出来&＃xff0c;得到的类型是一个字典。

如果我们想要单独获取某个属性&＃xff0c;可以这样&＃xff0c;例如我们获取它的 class 叫什么

print soup.p[&＃39;class&＃39;]

#[&＃39;title&＃39;]

3.2 获取文字

既然我们已经得到了标签的内容&＃xff0c;那么问题来了&＃xff0c;我们要想获取标签内部的文字怎么办呢&＃xff1f;很简单&＃xff0c;用 .string 即可&＃xff0c;例

print soup.p.string

#The Dormouse&＃39;s story

3.3 CSS选择器

在CSS中&＃xff0c;标签名不加任何修饰&＃xff0c;类名前加点&＃xff0c;id名前加 #&＃xff0c;在这里我们也可以利用类似的方法来筛选元素&＃xff0c;用到的方法是 soup.select()&＃xff0c;返回类型是 list

3.3.1 通过标签名查找

print soup.select(&＃39;title&＃39;)

#[

3.3.2 通过类名查找

print soup.select(&＃39;.sister&＃39;)

#[, Lacie, Tillie]

3.3.3 通过 id 名查找

print soup.select(&＃39;#link1&＃39;)

#[]

3.3.4 组合查找

组合查找即和写 class 文件时&＃xff0c;标签名与类名、id名进行的组合原理是一样的&＃xff0c;例如查找 p 标签中&＃xff0c;id 等于 link1的内容&＃xff0c;二者需要用空格分开

print soup.select(&＃39;p #link1&＃39;)

#[]

3.3.5 直接子标签查找

print soup.select("head > title")

#[

#[, Lacie, Tillie]

print soup.select(&＃39;a[href&＃61;"http://example.com/elsie"]&＃39;)

#[]

同样&＃xff0c;属性仍然可以与上述查找方式组合&＃xff0c;不在同一节点的空格隔开&＃xff0c;同一节点的不加空格

print soup.select(&＃39;p a[href&＃61;"http://example.com/elsie"]&＃39;)

#[]