Python-Requests(> = 1.*):如何禁用keep-alive?

 喂_早安学院_703 发布于 2023-02-05 07:24

我正在尝试使用Requests模块编写一个简单的Web爬虫程序,我想知道如何禁用它的-default- keep-alive feauture.

我试过用:

s = requests.session()
s.config['keep_alive'] = False

但是,我得到一个错误,说明会话对象没有属性'config',我认为它已经改变了新版本,但我似乎无法在官方文档中找到如何做到这一点.

事实上,当我在特定网站上运行爬虫时,它最多只能获得五个页面,然后无限循环,所以我认为它与保持活动功能有关!

PS:是请求网络爬虫的好模块吗?有更适合的东西吗?

谢谢 !

2 个回答
  • 这有效

    s = requests.session()
    s.keep_alive = False
    

    在类似问题的评论中回答.

    2023-02-05 07:36 回答
  • 我不确定,但是当您使用请求发送GET请求时,您是否可以尝试将{"Connection":"close"}作为HTTP标头传递.这将在服务器返回响应后立即关闭连接.

    >>> headers = {"Connection": "close"}
    >>> r = requests.get('https://example.xcom', headers=headers)
    

    2023-02-05 07:39 回答
撰写答案
今天,你开发时遇到什么问题呢?
立即提问
热门标签
PHP1.CN | 中国最专业的PHP中文社区 | PNG素材下载 | DevBox开发工具箱 | json解析格式化 |PHP资讯 | PHP教程 | 数据库技术 | 服务器技术 | 前端开发技术 | PHP框架 | 开发工具 | 在线工具
Copyright © 1998 - 2020 PHP1.CN. All Rights Reserved 京公网安备 11010802041100号 | 京ICP备19059560号-4 | PHP1.CN 第一PHP社区 版权所有