Python3爬取网页信息乱码怎么解决？（更新：已解决）

更新：乱码问题已经解决了。

将下面代码中的红色部分改为下面这样就不会出现个别职位信息乱码的情况了。

soup2 = BeautifulSoup(wbdata2, 'html.parser',from_encoding="GBK")

另外：

建立了一个微信公众号，主要分享软件视频教程、文档笔记、软件工具和生活DIY等方面。

希望能认识更多志同道合共同进步的朋友。

微信公众号：cool_book

================================================

大家好，我遇到的问题是这样的：

问题背景：Python3.4爬取前程无忧招聘信息。
环境：Pycharm  Python3.4
问题：爬取的多数网页的招聘信息是正常的，个别网页出现乱码，但是我浏览器打开乱码的个别网页，显示也是正常的。里面内容是中文的招聘信息。这是为什么呢？终端输出的正常和掺杂在里面的乱码招聘信息如下。

#!/usr/bin/env python3
# -*- coding: utf-8
import re
import urllib.request
import bs4
import sys
import json
import csv
import requests
from bs4 import BeautifulSoup
header = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/53.0.2785.143 Safari/537.36',
    'Connection': 'keep-alive',
}


def get_index_url(url):
    wbdata = requests.get(url, headers=header).content
    soup = BeautifulSoup(wbdata, 'html.parser')
    links=soup.select('html > body > div.dw_wp > div > div.el > p.t1 > span > a')
    # print(links)
    for link in links:
        page_url=link.get('href')
        print(page_url)


        wbdata2 = requests.get(page_url, headers=header).content
        soup2 = BeautifulSoup(wbdata2, 'html.parser')#这句导致的有时候乱码

         #body > div.tCompanyPage > div.tCompany_center.clearfix > div.tHeader.tHjob > div > div.cn > h1        name = soup2.select('html > body > div.tCompanyPage > div.tCompany_center.clearfix > div.tHeader.tHjob > div.in > div.cn > h1')[0].text        print(name)        jieshao = soup2.select('html > body > div.tCompanyPage > div.tCompany_center.clearfix > div.tCompany_main > div.tBorderTop_box > div.bmsg.job_msg.inbox')[0].text        print(jieshao)        # body > div.tCompanyPage > div.tCompany_center.clearfix > div.tHeader.tHjob > div > div.cn > strong        # gOngzi= soup2.select('html > body > div.tCompanyPage > div.tCompany_center.clearfix > div.tHeader.tHjob > div > div.cn > strong')[0].text        # print(gongzi)        # for name,jieshao in zip(name,jieshao):        #     data = {        #         'name':name.get_text(),        #         'jieshao':jieshao.get_text(),        #     }        #     print(data)        f = open("C:/111.txt", 'a',encoding='utf-8')        f.write(name)        f.write(',')        # f.write(jieshao.strip('/n'))        # f.write(gongzi)        f.write(',' + "\n")        f.close()# for i in range(1, 1):    #url = "https://dl.fang.anjuke.com/loupan/all/p" + str(i) + "/"  # 翻页url = "http://search.51job.com/jobsearch/search_result.php?fromJs=1&jobarea=230300%2C00&district=000000&funtype=0000&industrytype=00&issuedate=9&providesalary=99&keywordtype=2&curr_page="+str(1)get_index_url(url)    # print(i)

======================终端输出================
C:\Python34\python.exe C:/Users/Administrator/PycharmProjects/untitled/test.py
http://jobs.51job.com/dalian-zsq/94580637.html?s=01&t=0




http://jobs.51job.com/dalian/94579847.html?s=01&t=0
物业顾问


职位描述：
1、负责业主的房屋的租售。2、为业主办理相关房屋出租及销售手续。3、物业一般性工作。要求：1、熟悉房地产交易市场关于房屋出租及销售相关流程和需要的材料。             2、***。



职能类别：
物业管理专员/助理




关键字：
物业服务




举报
分享


[color=#FF0000]
http://jobs.51job.com/dalian-zsq/74735018.html?s=01&t=0
ÉãÓ°ÕÐƸÉãӰʦ


ְλÃèÊö£º
ÈÎÖ°ÒªÇó£ºÈç¹ûÄúΪҵÄÚ¾«Ó¢£¬ÉãÓ°¼¼Êõ³¬Èº£¬Í¯Ö®ÃλáΪÄúÌṩÀíÏëµÄн×Ê´ýÓö£¬ÌṩûÓÐÌ컨°åµÄÎę̀¡£¹¤×÷ʱ¼ä£ºÔç9:00Íí18:00н×Ê´ýÓö£ºµ×н+Ìá³É£¨5000-10000Ôª£©£¬È«ÇÚ½±£¬Ãâ·ÑÔ±¹¤²Í£¬ÔçÍí°à³µ



Ö°ÄÜÀà±ð£º
ÉãӰʦ/ÉãÏñʦ
ºóÆÚÖÆ×÷




¹Ø¼ü×Ö£º
ÉãÓ°
ÕÕƬ
PS
ÊýÂë
ºóÆÚÐÞƬ
ÐÞͼʦ
Èí¼þ
ºóÆÚ
Ó°ÊÓ




¾Ù±¨
·ÖÏí[/color]




http://jobs.51job.com/dalian-zsq/91039157.html?s=01&t=0
平面设计师


职位描述：
1、 工作内容1) 对集团企业的VI(企业视觉识别）、AI（企业听觉识别）、EI（企业环境识别）等基本要素设计，进行构思设计实施；2) 各种广告、海报、纸媒的设计、排版制作；3) 按照各活动时间完成制作，并保证设计质量；4) 对项目各类宣传品的设计、排版制作；5) 完成新新项目与市场拓展中的宣传广告设计制作；6) 大型活动的宣传品制作、公司统一形象的文字书写；7) 负责与广告公司、印刷公司的电子文档的往来、制作完成后的账务数量确认；8) 跟踪制作数量，结账金额，并上报企划经理审核；9) 对项目宣传品发放的落实追踪、改进措施；10) 大型活动赠品的购买、送达、跟踪；11) 负责项目的装饰、广告设计、渲染节庆活动现场的气氛布置；12) 负责企划部对外所有票据核对、清查、票据记录完整；13) 协助设计纸媒完成公司企划工作；14) 协助完成宣传设备设施的每月盘点；15) 完成本部门的其他工作；2、 工作权限：1) 对各种广告的设计建议权；2) 对本部门工作有参与权和建议权；3) 项目企划工作的监督、检核权；4) 广告印刷品的监督权，以免造成浪费；5) 对合作的广告公司、印刷公司有建议、监督权；3、 工作责任：1) 遵守公司制度汇编；2) 因工作失误，导致出现不良后果，造成经济损失承担直接责任；3) 对项目员工有企划业务知识培训的责任；4) 账务错误承担主要责任；4、 人员配置1) 1人，主管级2) 人员素质及上岗条件a.***，25~38岁，专科以上学历；b.头脑灵活，具有很强的创新精神，了解项目行业；c.活泼开朗，有团队合作意识，责任心强；d.熟练使用办公软件、平面设计软件；联系电话：13998523555  丁***



职能类别：
平面设计经理/主管




举报
分享




http://jobs.51job.com/dalian-gjzq/94581554.html?s=01&t=0
电子商务助理/专员


职位描述：
岗位职责：1.对电商类工作感兴趣；2.好学，细心，有良好的逻辑思维能力；3.工作认真，可以从实习生做起任职要求：1.能够尽快入职，工作认真努力；2.能够很好地完成领导分配的任务；3.可以从实习生做起4.年龄18-30岁



职能类别：
电子商务专员




举报
分享




http://jobs.51job.com/dalian/94581216.html?s=01&t=0
企划专员


职位描述：
熟练使用Photoshop等软件。有一定文字功底。工作时间8:30-17:30




职能类别：
平面设计师
其他




举报
分享




http://jobs.51job.com/dalian-gxyq/94473367.html?s=01&t=0
销售代表


职位描述：
岗位职责：1. 对来访咨询者接待：全面、准确、有针对性的做好咨询工作，帮助咨询者了解其想了解的信息为起选择培训课程做参考；；2. 持续稳定地实现个人销售目标；3. 通过团队合作实现由中心总监设定的销售目标，与同事和学员建立密切的关系，以达成销售和服务目标；4. 参加销售培训并做业务陈述，以便为潜在客户设计合适的课程，并按时完成个人目标；5. 完善课程顾问的学员跟进数据库，确保达成学习目标；6. 按时分析个人表现，开发个人和企业客户；7. 参加例会和销售培训，确保完成每日销售报告。任职要求：1. 大专以上学历，1年及以上直接销售经验（有B2C销售经验优先）和/或客户服务经验；2. 热爱销售，愿意挑战高薪；3. 强烈的团队精神和出色的沟通能力；4. 强烈的责任感与客户服务意识（可接受灵活的工作时间安排）；5. 有IT知识背景者优先考虑；6、优秀应届毕业生也可考虑；备注：1、每个月不定期小型聚会，元旦元宵、五一、端午节、中秋、元旦PARTY、年终尾牙、春节红包等福利；不定期团建；小礼品；2、绿植化式办公环境优雅舒适、纯净水饮水机、中央空调。配有各自办公桌电脑、单线座机；3、季度调薪；能力提升、根据个人能力管理岗位发展；4、晋升机制：初级咨询师-中级咨询师-高级咨询师-咨询组长-咨询经理-咨询总监5、社会福利：入职缴纳五险一金；只要你有能力；我们给你足够的平台！上市公司期待您的加入！！欢迎您投递简历！！！承诺必答，使命必兑！！



职能类别：
销售代表




举报
分享




http://jobs.51job.com/dalian-gxyq/94473843.html?s=01&t=0
车间现场管理/调度/副主任/五险一金/周末双休


职位描述：
1.负责车间管理工作，完成公司下达的各项生产任务，并做好每月生产报表及各项统计；负责生产计划落实，物料准备，新产品导入准备；2.规划分配车间工作，监督车间工人的工作质量、工作进度；3.建立健全并落实车间各项规章制度，及时有效地处理车间发生的设备、质量、安全等故障及事故，并及时向上级主管汇报；4.提出改进工艺流程、生产设备、生产环境等方面的建议；任职要求：1、5年以上食品车间管理经验2、45岁以内3、具备生产管理能力，具备较强的质量意识4、具有作业现场人员管理能力,有较强的团队领导力和带动力，能很好的分析问题和解决问题



职能类别：
生产经理/车间主任
生产主管




关键字：
车间现场管理
调度
副主任




举报
分享




http://jobs.51job.com/dalian/71593713.html?s=01&t=0
总经理助理（外协专员）


职位描述：
职位描述：1、配合办公室及工程部做公司及工程相关的外联工作；2、主持制定和执行公关计划，配合公司对外项目各公关活动；3、协助办公室处理与各部门沟通合作事宜；4、完成领导交给的其它任务。任职资格：1、有行业2年以上工作经验，有法务工作背景优先；2、法学、经济法等相关专业，本科以上学历；3、工作细致、认真负责、敬业；4、具备独立的工作能力和团队精神；5、形象好，气质佳 。




职能类别：
公关专员




关键字：
公关




举报
分享




http://jobs.51job.com/dalian-gjzq/86175733.html?s=01&t=0
数控车工


职位描述：
任职要求：1.数控专业中专或职高及以上学历，受过数控操作等方面的培训。2.2年以上本岗位工作经验。3.具备生产加工方面的知识，熟悉数控机床操作，具有独立编制加工程序的知识和识图能力。4.




职能类别：
数控编程




关键字：
数控
编程




举报
分享




http://jobs.51job.com/dalian/94580792.html?s=01&t=0
消防主管


职位描述：
1、消防主管在部门经理的领导下进行工作，其工作对部门经理负责。　　2、认真贯彻《消防法》，在消防安全委员会及本部门经理的领导下，负责公司所辖区域的消防安全工作。　　3、检查消防中控人员的工作情况。　　4、对工作中存在的问题进行研究，提出解决办法，并向部门经理汇报。　　5、负责消防的管理工作，制定工作计划，做消防工作年终总结和工作考核，负责消防人员的思想教育及培训。　　6、定期对公司所辖区域的消防设施、设备、器材进行检查和维修保养。　　7、制定并落实消防安防工作的制度、规定、计划。　　8、定期对全体员工及新入职员工进行消防常识和专业技能宣传、教育培训。　　9、负责对本部门消防人员进行绩效评定；　　10、制定施工防火安全制度、协议书，并对施工现场进行安全巡视检查、发现问题，及时整改。　　11、定期对办公区域和重点部位进行防火安全检查，发现隐患，及时解决。　　12、每天对消防中控室进行巡视检查，及时纠正违纪现象。　　13、参加每周部门例会，汇报一周工作及下周工作安排。任职资格：     1、年龄25-40岁。     2、健康状况良好，吐字清晰，普通话流利，语速正常。     3、学历要求：大专以上学历。     4、专业背景要求：有消防构建证，掌握消防知识、法规。     5、计算机水平：熟练操作windows、Office等各类办公软件。     6、良好的语言表达能力和文字能力，具备一定的公文写作及方案整合能力。     7、有一定的业务培训能力。



职能类别：
物业管理主管




举报
分享




http://jobs.51job.com/dalian-zsq/83851564.html?s=01&t=0
ÖÐÎÄ¿Í·þ£¨ÏßÉÏ£©


ְλÃèÊö£º
ͶµÝ¼òÀúÇ°£¬Çë×ÐϸÔĶÁÒÔϹ¤×÷ʱ¼ä£¬²»½ÓÊÜÉÏ°àʱ¼ä£¬ÇëÎðͶµÝ¡£Ôç°à£º9:00--18:00£»Íí°à£º14:30--23:30£¨ÒªÇóÔÚ¹«Ë¾Éϰ࣬Ï°à´ò³µ»Ø¼Ò£¬¹«Ë¾Êµ±¨ÊµÏú´ò³µ·ÑÓã©£»ÐÝϢʱ¼ä£ºÃ¿ÖÜË«ÐÝ£¬µ«ÊDz»Äܱ£Ö¤¶¼ÔÚÖÜÄ©ÐÝÏ¢£¬´®ÐÝ¡£¸ÚλְÔð£º1¡¢Ö÷Ҫͨ¹ýÏßÉϽâ´ðºÍµç»°¹µÍ¨µÄ·½Ê½À´½â´ð¹úÄÚ¿Í»§µÄ×Éѯ£¬²¢¶Ô¿Í»§µÄÎÊÌ⼰ʱ×ö³ö»Ø´ðºÍ·´À¡£»2¡¢½«ÖØÒªµÄ¶¯Ì¬ÐÅÏ¢¼°Ê±Í¨Öª»áÔ±£¬²¢Ö¸µ¼¡¢Ð­Öú»áÔ±½øÐÐÍøÕ¾Ïà¹ØµÄ²Ù×÷£»3¡¢ÊìÁ·²Ù×÷¹«Ë¾ÍøÕ¾¶ÀÁ¢ºǫ́£¬¼°Ê±´¦Àí½øÐÐÖеݸ¼þ£»4¡¢ÄÍÐÄÓè¹Ë¿ÍÏ꾡µÄ·þÎñ£¬Ôö¼Ó¿Í»§µÄÂúÒâ¶È£¬Î¬»¤¿Í»§¹Øϵ¡£Ö°Î»ÒªÇó£º1¡¢ÆÕͨ»°±ê×¼£¬¿Ú³ÝÇåÎú£»2¡¢¸»ÓÐÄÍÐĺÍÔðÈÎÐÄ£¬¾ßÓÐÍŶӺÏ×÷Òâʶ£»3¡¢Ë¼Î¬Ãô½Ý¡¢Á¼ºÃµÄ·þÎñÒâʶ£¬µçÄÔ²Ù×÷ÊìÁ·£»4¡¢ÖÐר¼°ÒÔÉÏѧÀú¡£¸£Àû´ýÓö£º1¡¢¹«Ë¾ÌṩÍêÉƵÄн×Ê¡¢ÎåÏÕÒ»½ðµÈ¸£Àû´ýÓö£»2¡¢¹«Ë¾¶¨ÆÚÌṩÓÅÔ½µÄÔ±¹¤½±Àø·½Ê½£¬ÄÜÁ¦ÓÅÐãÕߣ¬Óй㷺µÄ·¢Õ¹¡¢½úÉý¿Õ¼ä£»3¡¢ÈëÖ°ºóÂúÒ»Ä깫˾Ìṩ´øнÄê¼Ù¼°ÄêÖÕ½±µÈ¸£Àû´ýÓö¡£



Ö°ÄÜÀà±ð£º
¿Í·þרԱ/ÖúÀí




¹Ø¼ü×Ö£º
¿Í·þ
ÔÚÏß¿Í·þ
ÏßÉÏ¿Í·þ




¾Ù±¨
·ÖÏí