Python爬虫利用cookie实现模拟登陆实例详解

#coding=utf-8 
import COOKIElib 
import urllib2 
 
myCOOKIE = COOKIElib.COOKIEJar() #声明一个COOKIEJar的类对象保存COOKIE(注意COOKIEJar的大小写问题) 
handler = urllib2.HTTPCOOKIEProcessor(myCOOKIE) #利用urllib2库中的HTTPCOOKIEProcessor来声明一个处理COOKIE的处理器 
opener = urllib2.build_opener(handler) #利用handler来构造opener，opener的用法和urlopen()类似 
respOnse= opener.open("http://www.baidu.com") #opener返回的一个应答对象response 
for item in my.COOKIE: 
  print"name="+item.name 
  print"value="+item.value 

name=BAIDUID 
value=73BD718962A6EA0DAD4CB9578A08FDD0:FG=1 
name=BIDUPSID 
value=73BD718962A6EA0DAD4CB9578A08FDD0 
name=H_PS_PSSID 
value=1450_19035_21122_17001_21454_21409_21394_21377_21526_21189_21398 
name=PSTM 
value=1478834132 
name=BDSVRTM 
value=0 
name=BD_HOME 
value=0 

#coding=utf-8 
import COOKIElib 
import urllib2 
 
myCOOKIE = COOKIElib.MozillaCOOKIEJar() #声明一个MozillaCOOKIEJar的类对象保存COOKIE(注意MozillaCOOKIEJar的大小写问题) 
handler = urllib2.HTTPCOOKIEProcessor(myCOOKIE) #利用urllib2库中的HTTPCOOKIEProcessor来声明一个处理COOKIE的处理器 
opener = urllib2.build_opener(handler) #利用handler来构造opener，opener的用法和urlopen()类似 
respOnse= opener.open("http://www.baidu.com") #opener返回的一个应答对象response 
for item in myCOOKIE: 
  print"name="+item.name 
  print"value="+item.value 
filename='myCOOKIE.txt'#设定保存的文件名 
myCOOKIE.save(filename,ignore_discard=True, ignore_expires=True) 

#coding=utf-8 
import urllib2 
import COOKIElib 
import urllib 
 
#第一步先给出账户密码网址准备模拟登录 
postdata = urllib.urlencode({ 
  'stuid': '1605122162', 
  'pwd': 'xxxxxxxxx'#密码这里就不泄漏啦，嘿嘿嘿 
}) 
loginUrl = 'http://ids.xidian.edu.cn/authserver/login&＃63;service=http%3A%2F%2Fjwxt.xidian.edu.cn%2Fcaslogin.jsp'# 登录教务系统的URL，成绩查询网址 
 
# 第二步模拟登陆并保存登录的COOKIE 
filename = 'COOKIE.txt'  #创建文本保存COOKIE 
myCOOKIE = COOKIElib.MozillaCOOKIEJar(filename) # 声明一个MozillaCOOKIEJar对象实例来保存COOKIE，之后写入文件 
opener = urllib2.build_opener(urllib2.HTTPCOOKIEProcessor(myCOOKIE)) #定义这个opener，对象是COOKIE 
result = opener.open(loginUrl, postdata) 
myCOOKIE.save(ignore_discard=True, ignore_expires=True)# 保存COOKIE到COOKIE.txt中 
 
# 第三步利用COOKIE请求访问另一个网址，教务系统总址 
gradeUrl = 'http://ids.xidian.edu.cn/authserver/login&＃63;service'  #只要是帐号密码一样的网址就可以， 请求访问成绩查询网址 
result = opener.open(gradeUrl) 
print result.read()

 
 
 
 
 
 
创建一个带有COOKIE的opener，在访问登录的URL时，将登录后的COOKIE保存下来，然后利用这个COOKIE来访问其他网址。 
 

 
 
核心思想：创建opener,包含了COOKIE的内容。之后在利用opener时，就会自动使用原先保存的COOKIE.