python实现网络段子页爬虫案例

0x01

春节闲着没事(是有多闲)，就写了个简单的程序，来爬点笑话看，顺带记录下写程序的过程。第一次接触爬虫是看了这么一个帖子，一个逗逼，爬取煎蛋网上妹子的照片，简直不要太方便。于是乎就自己照猫画虎，抓了点图片。

科技启迪未来，身为一个程序员，怎么能干这种事呢，还是爬点笑话比较有益于身心健康。

代码如下:

soup = BeautifulSoup(getHTML("http://www.pengfu.com/xiaohua_1.html"))

用 BeautifulSoup 来解析网页也就一句话，但当你运行代码的时候，会出现这么一个警告，提示要指定一个解析器，不然，可能会在其他平台或者系统上报错。

代码如下:

/Library/Frameworks/Python.framework/Versions/3.5/lib/python3.5/site-packages/bs4/init.py:181: UserWarning: No parser was explicitly specified, so I&＃39;m using the best available HTML parser for this system ("lxml"). This usually isn&＃39;t a problem, but if you run this code on another system, or in a different virtual environment, it may use a different parser and behave differently.
The code that caused this warning is on line 64 of the file joke.py. To get rid of this warning, change code that looks like this:
 BeautifulSoup([your markup])
to this:
 BeautifulSoup([your markup], "lxml")
  markup_type=markup_type))

解析器的种类 和 不同解析器之间的区别 官方文档有详细的说明，目前来说，还是用 lxml 解析比较靠谱。
修改之后

代码如下:

soup = BeautifulSoup(getHTML("http://www.pengfu.com/xiaohua_1.html", &＃39;lxml&＃39;))

这样，就没有上述警告了。

代码如下:

p_array = soup.find_all(&＃39;p&＃39;, {&＃39;class&＃39;:"content-img clearfix pt10 relative"})

利用 find_all 函数，来找到所有 class = content-img clearfix pt10 relative 的 p 标签 然后遍历这个数组

代码如下:

for x in p_array: cOntent= x.string

这样，我们就取到了目的 p 的内容。至此，我们已经达到了我们的目的，爬到了我们的笑话。
但当以同样的方式去爬取糗百的时候，会报这样一个错误

代码如下:

raise RemoteDisconnected("Remote end closed connection without" http.client.RemoteDisconnected: Remote end closed connection without response

说远端无响应，关闭了链接，看了下网络也没有问题，这是什么情况导致的呢？莫非是我姿势不对？
打开 charles 抓包，果然也没反应。唉，这就奇怪了，好好的一个网站，怎么浏览器可以访问，python 无法访问呢，是不是 UA 的问题呢？看了下 charles，发现，利用 urllib 发起的请求，UA 默认是 Python-urllib/3.5 而在 chrome 中访问 UA 则是 User-Agent:Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_3) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/56.0.2924.87 Safari/537.36，那会不会是因为服务器根据 UA 来判断拒绝了 python 爬虫。我们来伪装下试试看行不行

代码如下:

def getHTML(url):
    
head
ers = {&＃39;User-Agent&＃39;: &＃39;User-Agent:Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_3) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/56.0.2924.87 Safari/537.36&＃39;}
    req = request.Request(url, headers=headers)
    return request.urlopen(req).read()

这样就把 python 伪装成 chrome 去获取糗百的网页，可以顺利的得到数据。

至此，利用 python 爬取糗百和捧腹网的笑话已经结束，我们只需要分析相应的网页，找到我们感兴趣的元素，利用 python 强大的功能，就可以达到我们的目的，不管是 XXOO 的图，还是内涵段子，都可以一键搞定，不说了，我去找点妹子图看看。

# -*- coding: utf-8 -*-
import sys
import urllib.request as request
from bs4 import BeautifulSoup

def getHTML(url):
  headers = {&＃39;User-Agent&＃39;: &＃39;User-Agent:Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_3) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/56.0.2924.87 Safari/537.36&＃39;}
  req = request.Request(url, headers=headers)
  return request.urlopen(req).read()

def get_pengfu_results(url):
  soup = BeautifulSoup(getHTML(url), &＃39;lxml&＃39;)
  return soup.find_all(&＃39;p&＃39;, {&＃39;class&＃39;:"content-img clearfix pt10 relative"})

def get_pengfu_joke():
  for x in range(1, 2):
    url = &＃39;http://www.pengfu.com/xiaohua_%d.html&＃39; % x
    for x in get_pengfu_results(url):
      cOntent= x.string
      try:
        string = content.lstrip()
        print(string + &＃39;\n\n&＃39;)
      except:
        continue
  return

def get_qiubai_results(url):
  soup = BeautifulSoup(getHTML(url), &＃39;lxml&＃39;)
  cOntents= soup.find_all(&＃39;p&＃39;, {&＃39;class&＃39;:&＃39;content&＃39;})
  restlus = []
  for x in contents:
    str = x.find(&＃39;span&＃39;).getText(&＃39;\n&＃39;,&＃39;
&＃39;)
    restlus.append(str)
  return restlus

def get_qiubai_joke():
  for x in range(1, 2):
    url = &＃39;http://www.qiushibaike.com/8hr/page/%d/?s=4952526&＃39; % x
    for x in get_qiubai_results(url):
      print(x + &＃39;\n\n&＃39;)
  return

if name == &＃39;main&＃39;:
  get_pengfu_joke()
  get_qiubai_joke()