python - 一个循环中对一个url进行post请求时,为什么只有一次爬取结果?

 lifetime8_797 发布于 2022-10-25 18:25

爬取代码如下:

    # 一个循环中对一个url进行post请求时 只有一次爬取结果?
    for page in range(1, int(page_count) + 1):
        print 'page:', page
        self.crawl(self.comment_url, method = 'POST',
            data = {'type': 'all',
                   'currentPage': page,
                   'totalCount': product_detail_dict['comment_count'],
                   'placeId': '',
                   'productId': product_detail_dict['product_id'],
                   'placeIdType': '',
                   'isPicture': '',
                   'isBest': '',
                   'isPOI': 'Y',
                   'isELong': 'N'},
            callback = self.comment_page,
            save = {'uuid': product_detail_dict['uuid']})

debug结果如下

循环做了3次,为什么只有一次爬取结果,是因为crawl同一个url吗?

1 个回答
  • url 相同

    2022-10-27 00:32 回答
撰写答案
今天,你开发时遇到什么问题呢?
立即提问
热门标签
PHP1.CN | 中国最专业的PHP中文社区 | PNG素材下载 | DevBox开发工具箱 | json解析格式化 |PHP资讯 | PHP教程 | 数据库技术 | 服务器技术 | 前端开发技术 | PHP框架 | 开发工具 | 在线工具
Copyright © 1998 - 2020 PHP1.CN. All Rights Reserved 京公网安备 11010802041100号 | 京ICP备19059560号-4 | PHP1.CN 第一PHP社区 版权所有