Python中BeautifuSoup库的用法使用详解

BeautifulSoup简介

Beautiful Soup是python的一个库，最主要的功能是从网页抓取数据。官方解释如下：

Beautiful Soup提供一些简单的、python式的函数用来处理导航、搜索、修改分析树等功能。它是一个工具箱，通过解析文档为用户提供需要抓取的数据，因为简单，所以不需要多少代码就可以写出一个完整的应用程序。

Beautiful Soup自动将输入文档转换为Unicode编码，输出文档转换为utf-8编码。你不需要考虑编码方式，除非文档没有指定一个编码方式，这时，Beautiful Soup就不能自动识别编码方式了。然后，你仅仅需要说明一下原始编码方式就可以了。

Beautiful Soup已成为和lxml、html6lib一样出色的python解释器，为用户灵活地提供不同的解析策略或强劲的速度。 

BeautifulSoup支持Python标准库中的HTML解析器,还支持一些第三方的解析器，如果我们不安装它，则 Python 会使用 Python默认的解析器，lxml 解析器更加强大，速度更快，推荐使用lxml 解析器。

1.  创建 BeautifulSoup 对象

首先导入库 bs4   lxml  requests

#encoding:UTF-8
from bs4 import BeautifulSoup
import lxml
import requests

使用官方字符串来演示：

html = """


The Dormouse's story
Once upon a time there were three little sisters; and their names were
,
Lacie and
Tillie;
and they lived at the bottom of a well.
...
"""

创建 beautifulsoup 对象：

soup = BeautifulSoup(html,'lxml') #创建 beautifulsoup 对象

还可以用本地 HTML 文件来创建对象：

soup1 = BeautifulSoup(open('index.html')) #用本地 HTML 文件来创建对象

打印一下 soup 对象的内容，格式化输出：

print soup.prettify() #打印 soup 对象的内容，格式化输出

输出结果，格式化打印出了它的内容，这个函数经常用到。

2.  四种对象

Beautiful Soup将复杂HTML文档转换成一个复杂的树形结构,每个节点都是Python对象,所有对象可以归纳为4种:

• Tag
• NavigableString
• BeautifulSoup
• Comment

（1）Tag

Tag就是 HTML 中的一个个标签，例如：

用 BeautifulSoup 可以很方便地获取 Tags：

print soup.title
print soup.head
print soup.a
print soup.p
print type(soup.a)

这种方式查找的是在所有内容中的第一个符合要求的标签。

对于 Tag，它有两个重要的属性，name 和 attrs ：

print soup.name
print soup.a.name
print soup.attrs
print soup.p.attrs #在这里，我们把 p 标签的所有属性打印输出了出来，得到的类型是一个字典。
print soup.p['class'] #单独获取某个属性
print soup.p.get('class') ##单独获取某个属性 跟上面一样的

可以对这些属性和内容等等进行修改：

soup.p['class']="newClass"

也可以对这个属性进行删除：

del soup.p['class']

（2）NavigableString

得到了标签的内容用 .string 即可获取标签内部的文字，例如：

print soup.p.string

来检查一下它的类型：

print type(soup.p.string)
#

可以看到它的类型是一个 NavigableString，翻译过来叫 可以遍历的字符串。

（3）BeautifulSoup

BeautifulSoup 对象表示的是一个文档的全部内容.大部分时候,可以把它当作 Tag 对象，是一个特殊的 Tag，我们可以分别获取它的类型，名称：

print type(soup.name)
#
print soup.name 
# [document]
print soup.attrs 
#{} 空字典

（4）Comment

Comment 对象是一个特殊类型的 NavigableString 对象，其实输出的内容仍然不包括注释符号。我们找一个带注释的标签：

print soup.a
print soup.a.string
print type(soup.a.string)

运行结果如下：

 Elsie 

a 标签里的内容实际上是注释，但是如果我们利用 .string 来输出它的内容，我们发现它已经把注释符号去掉了，所以这可能会给我们带来不必要的麻烦。

我们打印输出下它的类型，发现它是一个 Comment 类型，所以，我们在使用前最好做一下判断，判断代码如下：

if type(soup.a.string)==bs4.element.Comment:
  print soup.a.string

上面的代码中，我们判断了它的类型，是否为 Comment 类型。

3.   遍历文档树

（1）直接子节点

tag 的 .content 属性可以将tag的子节点以列表的方式输出：

print soup.head.contents 
#运行结果：
#[]
 
#输出方式为列表，我们可以用列表索引来获取它的某一个元素：
print soup.head.contents[0]

.children

它返回的不是一个 list，不过我们可以通过遍历获取所有子节点。我们打印输出 .children 看一下，可以发现它是一个 list 生成器对象：

print soup.head.children
#运行结果：
#
 
#遍历一下获得里面的内容：
for item in soup.body.children:
  print item

（2）所有子孙节点

.contents 和 .children 属性仅包含tag的直接子节点，.descendants 属性可以对所有tag的子孙节点进行递归循环，和 children类似，要获取其中的内容，我们需要对其进行遍历：

for item in soup.descendants:
  print item
 
#查看运行结果，可以发现，所有的节点都被打印出来了：
#
#
#
The Dormouse's story
#
Once upon a time there were three little sisters; and their names were
#,

（3）节点内容

如果一个标签里面没有标签了，那么 .string 就会返回标签里面的内容。如果标签里面只有唯一的一个标签了，那么 .string 也会返回最里面的内容：

print soup.head.string
#运行结果：
#The Dormouse's story
 
#第二种情况：
print soup.title.string
#运行结果：
#The Dormouse's story

如果tag包含了多个子节点,tag就无法确定，string 方法应该调用哪个子节点的内容, .string 的输出结果是 None：

print soup.html.string
#运行结果：
#None

（4）多个内容

.strings 获取多个内容，不过需要遍历获取，比如下面的例子：

for string in soup.strings:
  print(repr(string))

输出的字符串中可能包含了很多空格或空行,使用 .stripped_strings 可以去除多余空白内容：

for string in soup.stripped_strings:
  print(repr(string))

（5）父节点

p = soup.p
print p.parent.name
#运行结果：
#body
 
cOntent= soup.head.title.string
print content.parent.name
#运行结果：
#title

（6）全部父节点

通过元素的 .parents 属性可以递归得到元素的所有父辈节点：

cOntent= soup.head.title.string
for parent in content.parents:
  print parent.name

（7）兄弟节点

兄弟节点可以理解为和本节点处在统一级的节点，.next_sibling 属性获取了该节点的下一个兄弟节点，.previous_sibling 属性获取了该节点的上一个兄弟节点，如果节点不存在，则返回 None

注意：实际文档中的tag的 .next_sibling 和 .previous_sibling 属性通常是字符串或空白，因为空白或者换行也可以被视作一个节点，所以得到的结果可能是空白或者换行。

print soup.p.next_sibling
#    实际该处为空白
print soup.p.prev_sibling
#None  没有前一个兄弟节点，返回 None
print soup.p.next_sibling.next_sibling

（8）全部兄弟节点

通过 .next_siblings 和 .previous_siblings 属性可以对当前节点的兄弟节点迭代输出：

for sibling in soup.a.next_siblings:
  print(repr(sibling))

（9）前后节点

与 .next_sibling  .previous_sibling 不同，它并不是针对于兄弟节点，而是在所有节点，不分层次

#比如head节点为：

#那么它的下一个节点便是 title，它是不分层次关系的。
print soup.head.next_element
#

（10）所有前后节点

通过 .next_elements 和 .previous_elements 的迭代器就可以向前或向后访问文档的解析内容：

for element in last_a_tag.next_elements:
  print(repr(element))

4.  搜索文档树

（1）find_all( name , attrs , recursive , text , **kwargs )

find_all() 方法搜索当前tag的所有tag子节点,并判断是否符合过滤器的条件

name 参数
      A.传字符串

name 参数可以查找所有名字为 name 的tag,字符串对象会被自动忽略掉

最简单的过滤器是字符串.在搜索方法中传入一个字符串参数,Beautiful Soup会查找与字符串完整匹配的内容,下面的例子用于查找文档中所有的标签：

soup.find_all('b')
# [The Dormouse's story]

import re
for tag in soup.find_all(re.compile("^b")):
  print(tag.name)
# body
# b

soup.find_all(["a", "b"])
# [The Dormouse's story,
# Elsie,
# Lacie,
# Tillie]

for tag in soup.find_all(True):
  print(tag.name)
# html
# head
# title
# body
# p
# b
# p
# a
# a

def has_class_but_no_id(tag):
  return tag.has_attr('class') and not tag.has_attr('id')

soup.find_all(has_class_but_no_id)
# [
The Dormouse's story
,
# 
Once upon a time there were...
,
# 
...
]

soup.find_all(id='link2')
# [Lacie]

soup.find_all(href=re.compile("elsie"))
# [Elsie]

soup.find_all(href=re.compile("elsie"), id='link1')
# [three]

soup.find_all("a", class_="sister")
# [Elsie,
# Lacie,
# Tillie]

data_soup = BeautifulSoup('
foo!
')
data_soup.find_all(data-foo="value")
# SyntaxError: keyword can't be an expression

data_soup.find_all(attrs={"data-foo": "value"})
# [
foo!
]

soup.find_all(text="Elsie")
# [u'Elsie']
 
soup.find_all(text=["Tillie", "Elsie", "Lacie"])
# [u'Elsie', u'Lacie', u'Tillie']
 
soup.find_all(text=re.compile("Dormouse"))
[u"The Dormouse's story", u"The Dormouse's story"]

soup.find_all("a", limit=2)
# [Elsie,
# Lacie]

soup.html.find_all("title")
# []
 
soup.html.find_all("title", recursive=False)

print soup.select('title') 
#[]
 
print soup.select('a')
#[, Lacie, Tillie]

print soup.select('.sister')
#[, Lacie, Tillie]

print soup.select('#link1')
#[]

print soup.select('p #link1')
#[]

print soup.select("head > title")
#[]

print soup.select('a[class="sister"]')
#[, Lacie, Tillie]
 
print soup.select('a[href="http://example.com/elsie" rel="external nofollow" rel="external nofollow" rel="external nofollow" rel="external nofollow" rel="external nofollow" rel="external nofollow" rel="external nofollow" rel="external nofollow" rel="external nofollow" rel="external nofollow" rel="external nofollow" rel="external nofollow" rel="external nofollow" rel="external nofollow" rel="external nofollow" rel="external nofollow" rel="external nofollow" ]')
#[]
 
#属性也可以与上述查找方式组合，不在同一节点的空格隔开，同一节点的不加空格：
print soup.select('p a[href="http://example.com/elsie" rel="external nofollow" rel="external nofollow" rel="external nofollow" rel="external nofollow" rel="external nofollow" rel="external nofollow" rel="external nofollow" rel="external nofollow" rel="external nofollow" rel="external nofollow" rel="external nofollow" rel="external nofollow" rel="external nofollow" rel="external nofollow" rel="external nofollow" rel="external nofollow" rel="external nofollow" ]')
#[]
 
#以上的 select 方法返回的结果都是列表形式，可以遍历形式输出，然后用 get_text() 方法来获取它的内容：
soup = BeautifulSoup(html, 'lxml')
print type(soup.select('title'))
print soup.select('title')[0].get_text()
 
for title in soup.select('title'):
  print title.get_text()