python抓取并保存html页面时乱码问题的

代码如下:

这里提供一种简单的办法解决：使用chardet判断网页的真实编码，同时从url请求返回的info判断标示编码。如果两种编码不同，则使用bs模块扩展为GB18030编码；如果相同则直接写入文件（这里设置系统默认编码为utf-8）。

import urllib2
import sys
import bs4
import chardet
reload(sys)
sys.setdefaultencoding(&＃39;utf-8&＃39;)
def download(url):
  htmlfile = open(&＃39;test.html&＃39;,&＃39;w&＃39;)
  try:
    result = urllib2.urlopen(url)
    cOntent= result.read()
    info = result.info()
    result.close()
  except Exception,e:
    print &＃39;download error!!!&＃39;
    print e
  else:
    if content != None:
      charset1 = (chardet.detect(content))[&＃39;encoding&＃39;] #real encoding type
      charset2 = info.getparam(&＃39;charset&＃39;) #declared encoding type
      print charset1,&＃39; &＃39;, charset2
      # case1: charset is not None.
      if charset1 != None and charset2 != None and charset1.lower() != charset2.lower():
        newcOnt= bs4.BeautifulSoup(content, from_encoding=&＃39;GB18030&＃39;)  #coding: GB18030
        for cont in newcont:
          htmlfile.write(&＃39;%s\n&＃39;%cont)
      # case2: either charset is None, or charset is the same.
      else:
        #print sys.getdefaultencoding()
        htmlfile.write(content) #default coding: utf-8
  htmlfile.close()
if __name__ == "__main__":
  url = &＃39;https://www.php1.cn&＃39;
  download(url)

得到的test.html文件打开如下，可以看到使用的是UTF-8无BOM编码格式存储的，也就是我们设置的默认编码：

更多python抓取并保存html页面时乱码问题的相关文章请关注PHP中文网！