python - scrapy 回调函数使用?

 E阳光男孩 发布于 2022-10-26 05:56

请问一下 ,

class myspider(scrapy.Spider):

name = 'novel'
allowed_domains = ['23wx.com']
bash_url = 'http://www.23wx.com/class/'
bashurl = '.html'

def start_requests(self):
    for i in range(1, 11):
        url = self.bash_url + str(i) + '_1' + self.bashurl
        yield Request(url, self.getallurl)
def getallurl(self, response):
    print response.body

上面这个能正确输出html内容

但是下面这个却不能输出

class myspider(scrapy.Spider):

name = 'novel'
allowed_domain = ['23wx.com']
def get_start_url(self):
    for i in range(1,11):
        url  = 'http://www.23wx.com/class/{}_1.html'.format(i)
        yield Request(url,callback=self.getallurl)

def getallurl(self,response):
    print response.body

实在不清楚两者之间有什么区别,还是回调函数的使用有什么注意的地方。求指教

2 个回答
  • 明白了 谢谢

    2022-10-27 00:40 回答
  • 方法本质没有区别,原因是你的类继承了scrapy.Spider 类,这个类有个start_requests方法,你重写了它的方法,而这个方法会被scrapy.Spider类调用

    2022-10-27 00:40 回答
撰写答案
今天,你开发时遇到什么问题呢?
立即提问
热门标签
PHP1.CN | 中国最专业的PHP中文社区 | PNG素材下载 | DevBox开发工具箱 | json解析格式化 |PHP资讯 | PHP教程 | 数据库技术 | 服务器技术 | 前端开发技术 | PHP框架 | 开发工具 | 在线工具
Copyright © 1998 - 2020 PHP1.CN. All Rights Reserved 京公网安备 11010802041100号 | 京ICP备19059560号-4 | PHP1.CN 第一PHP社区 版权所有