Python制作糗事百科爬虫

其实这两天也正在接触数据库的内容，可以将爬取下来的数据保存在数据库中，以待以后的利用。好了，废话不多说了，先来看看程序爬取的数据结果

值得一提的是，我在程序中想一下子爬取糗事百科 30 页的内容，但是出现了连接错误，当我把页数降到 20 页的时候，程序就可以正常的跑起来了，不知道是什么原因，渴望知道的大神可以告诉我一声，感激不尽。

程序非常简单，直接上源代码咯

# coding=utf8

import re
import requests
from lxml import etree
from multiprocessing.dummy import Pool as ThreadPool
import sys

reload(sys)
sys.setdefaultencoding(&＃39;utf-8&＃39;)


def getnewpage(url, total):
 nowpage = int(re.search(&＃39;(\d+)&＃39;, url, re.S).group(1))
 urls = []

 for i in range(nowpage, total + 1):
  link = re.sub(&＃39;(\d+)&＃39;, &＃39;%s&＃39; % i, url, re.S)
  urls.append(link)

 return urls


def spider(url):
 html = requests.get(url)
 selector = etree.HTML(html.text)

 author = selector.xpath(&＃39;//*[@id="content-left"]/p/p[1]/a[2]/@title&＃39;)
 cOntent= selector.xpath(&＃39;//*[@id="content-left"]/p/p[2]/text()&＃39;)
 vote = selector.xpath(&＃39;//*[@id="content-left"]/p/p[3]/span/i/text()&＃39;)

 length = len(author)
 for i in range(0, length):
  f.writelines(&＃39;作者 : &＃39; + author[i] + &＃39;\n&＃39;)
  f.writelines(&＃39;内容 ：&＃39; + str(content[i]).replace(&＃39;\n&＃39;,&＃39;&＃39;) + &＃39;\n&＃39;)
  f.writelines(&＃39;支持 ： &＃39; + vote[i] + &＃39;\n\n&＃39;)


if __name__ == &＃39;__main__&＃39;:

 f = open(&＃39;info.txt&＃39;, &＃39;a&＃39;)
 url = &＃39;http://www.qiushibaike.com/text/page/1/&＃39;
 urls = getnewpage(url, 20)

 pool = ThreadPool(4)
 pool.map(spider,urls)
 f.close()

如果其中有不懂得部分，可以依次参考我的前三篇文章。

更多Python 制作糗事百科爬虫相关文章请关注PHP中文网！