python爬取换页_python,网页爬虫_Python爬虫怎么获取下一页的URL和网页内容？，python,网页爬虫,htmlphpStudy...

Python爬虫怎么获取下一页的URL和网页内容&＃xff1f;

用BeautifulSoup爬取了第一页的内容&＃xff0c;但是不知道剩下的页面怎么爬。

首页链接是长这样的&＃xff1a;

http://gdemba.gicp.net:82/interunit/ListMain.asp?FirstEnter&＃61;Yes&Style&＃61;0000100003&UID&＃61;{A270A117-76A7-4059-AB8F-B11AC370240B}&TimeID&＃61;39116.81

通过点击一个“后翻一页”的gif图片按钮跳转到下一页&＃xff1a;

第二页的链接是长这样的&＃xff1a;

http://gdemba.gicp.net:82/interunit/ListMain.asp?Keywords&＃61;&Style&＃61;0000100003&DateLowerLimit&＃61;

2000-1-1&DateUpperLimit&＃61; 2015-9-11&DateLowerLimitModify&＃61;

2000-1-1&DateUpperLimitModify&＃61;

2015-9-11&Classification1&＃61;0&Classification2&＃61;0&Classification3&＃61;0&Classification4&＃61;0&Classification6&＃61;0&Classification7&＃61;0&Classification8&＃61;0&Class&＃61;&Department&＃61;001&CreatorName&＃61;&CreatorTypeID&＃61;&UID&＃61;{A270A117-76A7-4059-AB8F-B11AC370240B}&SortField&＃61;&CustormCondition&＃61;&PageNo&＃61;2&TimeID&＃61;39453.14

这里怎么观察出URL的规律呢&＃xff1f;

那个“后翻一页”的链接如下&＃xff1a;

οnclick&＃61;"Javascript:window.location.href &＃61;

&＃39;ListMain.asp?Keywords&＃61;&Style&＃61;0000100003&DateLowerLimit&＃61;

2000-1-1&DateUpperLimit&＃61; 2015-9-11&DateLowerLimitModify&＃61;

2000-1-1&DateUpperLimitModify&＃61;

2015-9-11&Classification1&＃61;0&Classification2&＃61;0&Classification3&＃61;0&Classification4&＃61;0&Classification6&＃61;0&Classification7&＃61;0&Classification8&＃61;0&Class&＃61;&Department&＃61;001&CreatorName&＃61;&CreatorTypeID&＃61;&UID&＃61;{A270A117-76A7-4059-AB8F-B11AC370240B}&SortField&＃61;&CustormCondition&＃61;&PageNo&＃61;3&TimeID&＃61;39509.16&＃39;

; ">

WIDTH&＃61;"16" HEIGHT&＃61;"16">

要怎么获取下一页的URL和网页内容呢&＃xff1f;

有需要更多信息我可以补充上来。

补充代码&＃xff1a;

import urllib

import urllib2

import COOKIElib

import re

import csv

import codecs

from bs4 import BeautifulSoup

COOKIE &＃61; COOKIElib.COOKIEJar()

opener &＃61; urllib2.build_opener(urllib2.HTTPCOOKIEProcessor(COOKIE))

postdata &＃61; urllib.urlencode({

&＃39;LoginName&＃39;:&＃39;02&＃39;,

&＃39;Password&＃39;:&＃39;dc20150820if&＃39;

})

req &＃61; urllib2.Request(

url &＃61; &＃39;http://gdemba.gicp.net:82/VerifyUser.asp&＃39;,

data &＃61; postdata

)

result &＃61; opener.open(req)

for item in COOKIE:

print &＃39;COOKIE&＃xff1a;Name &＃61; &＃39;&＃43;item.name

print &＃39;COOKIE&＃xff1a;Value &＃61; &＃39;&＃43;item.value

result &＃61; opener.open(&＃39;http://gdemba.gicp.net:82/interunit/ListMain.asp?FirstEnter&＃61;Yes&Style&＃61;0000100003&UID&＃61;{4C10B953-C0F3-4114-8341-81EF93DE7C55}&TimeID&＃61;49252.53&＃39;)

info &＃61; result.read()

soup &＃61; BeautifulSoup(info, from_encoding&＃61;"gb18030")

table &＃61; soup.find(id&＃61;&＃39;Table11&＃39;)

print table

client &＃61; ""

tag &＃61; ""

tel &＃61; ""

catalogue &＃61; ""

region &＃61; ""

client_type &＃61; ""

email &＃61; ""

creater &＃61; ""

department &＃61; ""

action &＃61; ""

f &＃61; open(&＃39;table.csv&＃39;, &＃39;w&＃39;)

csv_writer &＃61; csv.writer(f)

td &＃61; re.compile(&＃39;td&＃39;)

for row in table.find_all("tr"):

cells &＃61; row.find_all("td")

if len(cells) &＃61;&＃61; 10:

client &＃61; cells[0].text

tag &＃61; cells[1].text

tel &＃61; cells[2].text

catalogue &＃61; cells[3].text

region &＃61; cells[4].text

client_type &＃61; cells[5].text

email &＃61; cells[6].text

creater &＃61; cells[7].text

department &＃61; cells[8].text

action &＃61; cells[9].text

csv_writer.writerow([x.encode(&＃39;utf-8&＃39;) for x in [client, tag, tel, catalogue, region, client_type, email, creater, department, action]])

f.close()

相关阅读:

Xcode: 调试的时候能不能让Xcode在遇到某些信号时不抛出&＃xff1f;

qrsctl 删除多个文件的问题

jquery 选择器:not()的写法?

HTML5中如何给manifest 文件配置 MIME-type为text/cache-manifest&＃xff1f;本地服务器环境wamp

注册twitter账号&＃xff0c;提示无效手机号&＃xff0c;怎么回事

安卓关注指定微博、关注指定微信公众号怎么做&＃xff1f;

linux 下git 出现问题Permission denied (publickey).,在线等&＃xff0c;急

为什么spring-web-3.2.0的jar包会出现在这个位置呢&＃xff1f;

hashmap中存进相同的key是后进的将前面的值覆盖掉&＃xff0c;有没办法可以取到先存进的值&＃xff1f;

如何实现 UILable 根据text自动调整高度

JAVAEE项目部署的时候&＃xff0c;报错&＃xff0c;请问这个是什么什么错误&＃xff1f;如何修改&＃xff1f;

做移动端web开发非要html5?

BAE 中 markdown&＃61;&＃61;2.2.0 一添加就发布失败

制作统计图怎么画平滑的曲线&＃xff1f;

Android开发删除本地指定路径下的过期文件

多个python子线程中的某个异常退出&＃xff0c;如何让主线程继续它的工作&＃xff0c;或者记录下被耽搁的工作&＃xff1f;

Qt发布程序出错

jquery 每click只顯示show一次?

请问master右边三个蓝色的横线是什么意思&＃xff1f;

数组转换为json