Python爬虫之bs4库

class="title" -> tag.attrs (字典列表)

... -> NavigableString OR Comment

2.2 使用bs4遍历html内容

HTML是个树状结构，<>...构成了从属关系。对HTML的遍历，有下行遍历，上行遍历和平行遍历三种遍历途径或方法。

2.2.1 下行遍历

BeautifulSoup类型是标签树的根节点。

soup.head soup.head.contents soup.body.contents len(soup.body.contents) soup.body.contents[0]遍历子节点：

for child in soup.body.children: print(child)遍历所有子孙节点：

for child in soup.body.descendants: print(child)
2.2.2 上行遍历

>>> soup

The demo python introduces several python courses.

而soup本身的父节点是空。

进行先辈节点遍历时，包括soup自身，实际使用时需要判断。

for parent in soup.a.parents: if parent is None: print(parent) else: print(parent.name)

2.2.3 平行遍历

soup.a.next_sibling soup.a.next_sibling.nextsibling soup.a.previous_sibling soup.a.parent

遍历后续节点：

for sibling in soup.a.next_siblings: print(sibling)
遍历前续节点：

for sibling in previous_siblings: print(sibling)
3. 基于bs4库的HTML格式输出

3.1 prettify()方法

.prettify()为HTML文本<>及其内容增加‘n'

.prettify()可用于标签，方法.prettify()

print(soup.a.prettify())
3.2 bs4k库的编码

bs4库将任何HTML输入都变成utf-8编码，python3.x 默认支持编码是utf-8。完美匹配!

4.使用bs4进行HTML内容查找

使用bs4进行HTML内容解析查找，基本方法是使用<>.find_all()来进行

4.1 .find_all()的基本使用方法

基本格式：

.find_all(name, attrs, recursive, string, **kwargs)

其返回值为一个列表，存储查找的结果

参数：

name -> 对标签名称的检索字符串，可以是个字符串列表，表达“或”关系

soup.find_all('a') soup.find_all(['a','b']) soup.find_all(True)

soup.find_all('a', 'title') soup.find_all(id='link1') soup.find_all(attrs = {"class":"course"})
recursive -> 是否对子孙全部检索，默认True

string -> <>...中的....的检索字符串

soup.find_all(string = 'This is a sample')

(...) <--> .find_all(...)

soup(...) <--> soup.find_all(...)

程序员果然都是懒人..........

4.2 扩展方法