python - 如何解决多线程下Pymongo连接过多的问题?

 mobiledu2502861763 发布于 2022-10-29 06:16

最近调整原来的py爬虫时发现一个问题

在多线程下pymongo会报一个危险

/usr/lib64/python2.6/site-packages/pymongo/topology.py:75: 
UserWarning: MongoClient opened before fork. Create MongoClient with connect=False, 
or create client after forking. See PyMongo's documentation for details: 
http://api.mongodb.org/python/current/faq.html#using-pymongo-with-multiprocessing>;
  "MongoClient opened before fork. Create MongoClient "

大意是多进程下要加上connect=False参数防止死锁?

然后加上这个参数程序依旧报这个危险,所以问下多进程下 pymongo的要在哪里初始化?

目前是这样

class mongo():

    def __init__(self):
        try:
            client = MongoClient(host="127.0.0.1", port=27017, connect=False)
            db = client.db
            print "mogodb successful connection~^_^"
        except Exception, e:
            print "mogodb Error", e
    def in():
        ......

拜谢

1 个回答
  • 提示是mongo连接在fork之前就被创建了,希望你加connect=False参数或者在fork以后再建立连接。

    这个错误我以前碰到过,如果pymongo版本比较老的话是不支持connect=False这个参数的,升级一下就好了,或者你把初始化数据库连接的代码放到fork以后,就是在线程里面需要的时候再初始化。

    2022-11-12 01:44 回答
撰写答案
今天,你开发时遇到什么问题呢?
立即提问
热门标签
PHP1.CN | 中国最专业的PHP中文社区 | PNG素材下载 | DevBox开发工具箱 | json解析格式化 |PHP资讯 | PHP教程 | 数据库技术 | 服务器技术 | 前端开发技术 | PHP框架 | 开发工具 | 在线工具
Copyright © 1998 - 2020 PHP1.CN. All Rights Reserved 京公网安备 11010802041100号 | 京ICP备19059560号-4 | PHP1.CN 第一PHP社区 版权所有